清水_backup の履歴(No.61)

https://dic515s2.pu-toyama.ac.jp/teaching-learning_system/

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2
3-4		電波工学特論		人間情報工学
昼休み
5-6					科学技術論
7-8
9-10
11-12

トップページ

修士論文まとめる用

read_files = glob.glob("Tameshi/*.csv")
    dir_path = 'kyouzai'

cols = ["HPtitle", "HPurl", "Hpnumber", "student", "evaluation", "text", "date"]
    dd =pd.DataFrame(columns = cols)

colls = ["HPtitle", "HPurl", "Hpnumber", "student", "evaluation", "text", "date", "Credibility_score", " Score_average"]
    ddd =pd.DataFrame(columns = cols)

for i in range(len(read_files)):
        os.makedirs("Tameshi/"+dir_path+str(i), exist_ok = True)
        read_file = read_files[i]
        df = pd.read_csv(read_file, encoding='utf-8')
        length = len(df)
        list=[]
        for j in range(len(df)):
            list.append(j)

df['Hpnumber'] = list
        df['Credibility_score'] = ''
        df.to_csv("Tameshi/kyouzai"+str(i)+"/kyouzaiDB.csv", index=None, encoding="cp932",errors='ignore')
        dd.to_csv("Tameshi/kyouzai"+str(i)+"/review_prac.csv", index=None, encoding="cp932",errors='ignore')
        ddd.to_csv("Tameshi/kyouzai"+str(i)+"/review_score.csv", index=None, encoding="cp932",errors='ignore')

sub_title = pd.read_csv("csv_save/"+kamoku_name+".csv", encoding='cp932', header=None)
    sub_list =sub_title.iloc[:,0]
    # print(sub_list)

hp_title = [[] for _ in range(len(sub_list))]
    hp_url = [[] for _ in range(len(sub_list))]

for j in range(len(sub_list)):
        search_word = sub_list[j]
        pages_num = 15+1

url = f'https://www.google.co.jp/search?hl=ja&num={pages_num}&q={search_word}'
        request =requests.get(url)

soup = BeautifulSoup(request.text, 'html.parser')
        search_Results = soup.select('.kCrYT > a')
        search_title = soup.select('.BNeawe.vvjwJb.AP7Wnd')

for i in range(len(sub_list)):
            #なんか変な文字が入るので除く       
            site_url = str(search_Results[i].get('href').split('&sa=U&')[0].replace('/url?q=', ''))
            #URLに日本語が含まれている場合、エンコードされているのでデコードする
            site_url = urllib.parse.unquote(urllib.parse.unquote(site_url))
        
            #いらない文字を削除
            site_title = str(search_title[i]).strip('<div class="BNeawe vvjwJb AP7Wnd">').strip('</')
            #URLに日本語が含まれている場合、エンコードされているのでデコードする
            site_title = urllib.parse.unquote(urllib.parse.unquote(site_title))
            
            #print(site_title)
            hp_title[j].append(site_title)
            hp_url[j].append(site_url)
        
    for i in range(len(sub_list)):
        df = pd.DataFrame({'HPtitle':hp_title[i],'HPurl':hp_url[i]})
        df.to_csv(f'Tameshi/kyouzai_'+str(i)+'.csv',index=None,encoding='utf-8-sig')

研究会

専門ゼミ

卒業論文テーマ

論文候補

中間発表

修士論文まとめる用