平井_backup の履歴(No.23)

平井の研究会

&ref(): File not found: "BB8.gif" at page "平井"; &ref(): File not found: "B_yoda.gif" at page "平井";

B4 前期授業スケジュール

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2
3-4
5-6
7-8
9-10
11-12

研究日誌

平井_backup/2026-01-02?は空です。

章立て

タイトル: 
1.初めに
1.1本研究の概要
1.2本研究の目的
1.3本論文の概要
本研究の新規性について書く
有用性について書く

2.従来の研究
2.1.レビューデータ分析
2.2.スクレイピングによるレビューデータの収集
2.3.従来のトピックモデル(LDAなど)

3.
3.1.Sentence-BERTによる文章のベクトル化
3.2.UMAPとHDBSCANによる文章ベクトルの圧縮とクラスタリング
3.3.c-TF-IDFによるクラスタ毎の重要単語抽出

4.提案手法
4.1.スクレイピングによるレビューデータ収集
4.2.BERTopicを用いたレビューのトピック推定
4.3.トピックから地域の印象分析

5.数値実験並びに考察
6.おわりに

タイトル: 
1.初めに
1.1本研究の概要
1.2本研究の目的
1.3本論文の概要
本研究の新規性について書く
有用性について書く

2.従来の研究
2.1.レビューデータ分析
2.2.スクレイピングによるレビューデータの収集
2.3.従来のトピックモデル(LDAなど)

3.
3.1.Sentence-BERTによる文章のベクトル化
3.2.UMAPとHDBSCANによる文章ベクトルの圧縮とクラスタリング
3.3.c-TF-IDFによるクラスタ毎の重要単語抽出

4.提案手法
4.1.スクレイピングによるレビューデータ収集
4.2.BERTopicを用いたレビューのトピック推定
4.3.トピックから地域の印象分析

5.数値実験並びに考察
6.おわりに

タイトル: トピックモデルを用いた推薦

1.初めに
1.1本研究の概要
1.2本研究の目的
1.3本論文の概要
本研究の新規性について書く
有用性について書く

2.従来の研究
2.1.アイテム推薦
2.2.評判におけるトピックモデルの適用
2.3.評価と感情の関係

3.
3.1.文章の感情分析
     (Bidirectional Encoder Representations from Transformers:BERT)
3.2.文章の属性を考慮したトピックモデル
    （Structured Topic Model:STM)
3.3.特徴ベクトルから予測評価値計算

4.提案手法
4.1.
4.2.
4.3.

5.数値実験並びに考察
6.おわりに

章立て

コピー用

"[tex]": {
        // スニペット補完中にも補完を使えるようにする
        "editor.suggest.snippetsPreventQuickSuggestions": false,
        // インデント幅を2にする
        "editor.tabSize": 2
    },
    "[latex]": {
        // スニペット補完中にも補完を使えるようにする
        "editor.suggest.snippetsPreventQuickSuggestions": false,
        // インデント幅を2にする
        "editor.tabSize": 2
    },
    "[bibtex]": {
        // インデント幅を2にする
        "editor.tabSize": 2
    },
    // ---------- LaTeX Workshop ----------
    // 使用パッケージのコマンドや環境の補完を有効にする
    "latex-workshop.intellisense.package.enabled": true,
    // 生成ファイルを削除するときに対象とするファイル
    // デフォルト値に "*.synctex.gz" を追加
    "latex-workshop.latex.clean.fileTypes": [
        "*.aux",
        "*.bbl",
        "*.blg",
        "*.idx",
        "*.ind",
        "*.lof",
        "*.lot",
        "*.out",
        "*.toc",
        "*.acn",
        "*.acr",
        "*.alg",
        "*.glg",
        "*.glo",
        "*.gls",
        "*.ist",
        "*.fls",
        //"*.log",
        "*.fdb_latexmk",
        "*.snm",
        "*.nav",
        "*.dvi",
        "*.synctex.gz"
    ],
    // 生成ファイルを "out" ディレクトリに吐き出す
    "latex-workshop.latex.outDir": "out",
    // ビルドのレシピ
    "latex-workshop.latex.tools": [
        {
            "command": "latexmk",
            "args": [
                "-pdfdvi",
                "-latex=platex -kanji=utf-8 -synctex=1 %O %S",
                "-e",
                "$dvipdf=\"dvipdfmx %O %S\";$bibtex=\"pbibtex -kanji=utf-8\";$makeindex=\"mendex\";",
                "-silent",
                "-outdir=%OUTDIR%",
                "%DOC%"
            ],
            "name": "latexmk build"
        }
    ],
    "latex-workshop.latex.recipes": [
        {
            "command": "latexmk",
            "tools": [
                "latexmk build"
            ],
            "name": "latexmk toolchain"
        }
    ],
    "editor.mouseWheelZoom": true
    // ビルドのレシピに使われるパーツ

import matplotlib.pyplot as plt
import numpy as np

fig = plt.figure(figsize=(50,4.0))
plt.xlim([0, 100])

xdata = np.linspace(0,1000,1000)
ydata1 = np.array(agents[0].rewards)
ydata2 = np.array(agents[1].rewards)

plt.plot(xdata,ydata1, marker="o", color="red")
plt.plot(xdata,ydata2, marker="v", color="blue")

plt.grid(True)

plt.show()

from selenium import webdriver
import time
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
import pandas as pd

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
# service = Service(executable_path=r'/usr/bin/chromedriver')
driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()), options=options)
driver.implicitly_wait(10)

driver.get("https://www.mansion-note.com/area/tokyo/ct1000373/s1006598")
time.sleep(3)

import csv
from time import sleep
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import sys

p_review = []

for p in range(1,222):
    p_url = f'https://minhyo.jp/sakai-hikkoshi?page={p}'
    # ua = UserAgent()
    # header = {'user-agent':ua.chrome}
    # data = b'button=on'
    # headers = {
    #     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
    # }
    p_res = requests.get(p_url)
    p_soup = BeautifulSoup(p_res.text, "html.parser")
    # print(p_soup)
    p_i = p_soup.select('#review-pre-area > div > div > div > p')
    # print(p_i)
    if p==1:
        n_page=12
    else:
        n_page=9
    for i in range(n_page):
        p_review.append(p_i[i].text)
    #     # p_p = p_i[i].find('span')
with open('review.csv', 'w', newline='', errors='ignore') as f:
    writer = csv.writer(f)
    for row in p_review:
        writer.writerow([row.replace('\u2014', '')])
# print(p_i[0])
# for p in range(1, pages+1):
#     url = f'https://eiga.com//user//{user}//review//update//{p}'
#     res = requests.get(url)
#     soup = BeautifulSoup(res.text, "html.parser")
#     list = soup.select('.review-title > a')
#     l = 0
#     for p in list:
#         i_url = list[l].get('href')
#         item_url = i_url.replace('/', '//')
#         next_url = f'https://eiga.com{item_url}'
#         n_res = requests.get(next_url)
#         n_soup = BeautifulSoup(n_res.text, "html.parser")
#         n_block = n_soup.find('div', attrs={'class': 'txt-block'})
#         n_review = n_block.find('p')
#         # print(n_review.text)
#         review_con.append(n_review.text)
#         l += 1
#         # print(n_review.text)
#         # print(review_con[1])
#         with open('review.csv', 'w', newline='') as f:
#             writer = csv.writer(f)
#             for row in review_con:
#                 writer.writerow([row.replace('\u2014', '')])

平井の研究会

B4 前期授業スケジュール

研究日誌

専門ゼミ(平井）

引継ぎ・flask（清水）

章立て

章立て

コピー用