技術メモの履歴(No.13)

武藤?

Python関連

R言語関連 ←KEGG pathway(KGML)の解析用

Jupyter Notebook関連

Beamer用TeXコマンド

研究室関係

Blockly関係

Jupyterを使ったWEBテキストマイニング

WEBサイトの検索結果に出てくるサイトから文章をスクレイピング+自然言語処理(形態素解析)し、3Dグラフを作る

pythonからjupyterインストール

(anaconda使ってる人はanacondaから開く)

コマンドプロンプトでpythonのパスを確認 [#o669b31c]
```
python -V
```
jupyterをインストール [#h2e417e1]
```
pip install jupyter environment_kernels
```
jupyter起動 [#wd3bdadf]
```
jupyter notebook
```
配布フォルダの中にある3DGraphPre.ipynbをJupyter側から辿って開く[#p8dd02b6]
プログラムの処理ごとに分割してあるので１個づつ実行していく [#b8c11b4f]
```
Shift+Enterでプログラム実行
```
処理が終わると左上に番号が出る

Webスクレイピング

最初のimportでエラーが出ると思うのでpip installしていく
- 入れたほうがいいもの
```
requests_oauthlib
selenium
chromedriver_binary
emoji
MeCab
flask_cors(Server.py実行時)
```
  何かのモジュールがないと出るたびにpipで入れていく
3つ目のプログラムを実行するとき下のようなcsvファイルを作る
- 属性データ(大学生・夫婦など)、検索キーワード、地名データ(東京・太閤山など)には検索したい好きなワードを入れる。(空欄にしたいときは「指定しない」を入れる)
- エクセルで作り、名前を付けて保存で.csvにする
- 2行目のディレクトリを配布フォルダの場所にする
```
rd = pd.read_csv(C:/Users/iiela/OneDrive - 富山県立大学/idea_graph/Web3DGraph/keywords.csv', encoding="shift-jis")
```

4行目でスクレイピング

下のエラーが出る場合(pipのseleniumとchrome.exeのバージョン違いエラー)

selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 88
Current browser version is 92.0.4515.131 with binary path C:\Program Files (x86)\Google\Chrome\Application\chrome.exe

言われているバージョンをpip install(ver.88→ver.92へ)

pip install chromedriver-binary==92.0.4515.131

おそらく赤字でエラーが出る

ERROR: Could not find a version that satisfies the requirement chromedriver-binary==92.0.4515.131 (from versions:  ～～～, 91.0.4472.101.0, 92.0.4515.43.0, 92.0.4515.107.0, 93.0.4577.15.0)
ERROR: No matching distribution found for chromedriver-binary==92.0.4515.131

バージョンが列記されると思うので一番近いバージョンをインストール

pip install chromedriver-binary==92.0.4515.107.0

4行目について
- csvに入れたキーワードで自動検索するソースコード
- htmlで検索窓を実装しているタグ(qというnameタグ)を探し，そこにキーワードを打ち込んで検索ボタンを勝手に押すようにしている
- 2行目のrankinng関数を呼び出し，検索結果のwebサイトのリンクとタイトルをスクレイピングする
  (→どちらもtF2Cxcというclassタグに入っているので，そこを見つけて取ってきている)

辞書について MeCabは形態素分析を行うモジュールで、その形態素分析を行うときに使う辞書があるデフォルトの辞書では例えば「進撃の巨人」という言葉を見ても「進撃　の　巨人」という分析結果になってしまう。これはデフォルトの辞書には進撃の巨人という名詞が存在していないから起こってしまうそこで、NEologdという新しい辞書を追加する
MeCab
- C:\Program Files\MeCab\dic 内に配布フォルダのneologdをコピーする
- Program Files>MeCab>etcの中にあるmecabrcをメモ帳で開き，下の一行を追加する
```
userdic = C:\Program Files\MeCab\dic\neologd\NEologd.20200820-u.dic
```

技術メモ の履歴(No.13)