技術メモの履歴(No.11)

Jupyterを使ったWEBテキストマイニング

WEBサイトの検索結果に出てくるサイトから文章をスクレイピング+自然言語処理(形態素解析)し、3Dグラフを作る

(anaconda使ってる人はanacondaから開く)

コマンドプロンプトでpythonのパスを確認 [#o669b31c]
```
python -V
```
jupyterをインストール [#h2e417e1]
```
pip install jupyter environment_kernels
```
jupyter起動 [#wd3bdadf]
```
jupyter notebook
```
配布フォルダの中にある3DGraphPre.ipynbをJupyter側から辿って開く[#p8dd02b6]
プログラムの処理ごとに分割してあるので１個づつ実行していく [#b8c11b4f]
```
Shift+Enterでプログラム実行
```
処理が終わると左上に番号が出る

最初のimportでエラーが出ると思うのでpip installしていく
- 入れたほうがいいもの
```
requests_oauthlib
selenium
chromedriver_binary
emoji
MeCab
flask_cors(Server.py実行時)
```
  何かのモジュールがないと出るたびにpipで入れていく
3つ目のプログラムを実行するとき下のようなcsvファイルを作る
- 属性データ(大学生・夫婦など)、検索キーワード、地名データ(東京・太閤山など)には検索したい好きなワードを入れる。(空欄にしたいときは「指定しない」を入れる)
- エクセルで作り、名前を付けて保存で.csvにする
- 2行目のディレクトリを配布フォルダの場所にする

スクレイピング

pip install chromedriver-binary==94.0.4606.61

辞書について MeCabは形態素分析を行うモジュールで、その形態素分析を行うときに使う辞書があるデフォルトの辞書では例えば「進撃の巨人」という言葉を見ても「進撃　の　巨人」という分析結果になってしまう。これはデフォルトの辞書には進撃の巨人という名詞が存在していないから起こってしまうそこで、NEologdという新しい辞書を追加する
MeCab
- C:\Program Files\MeCab\dic 内に配布フォルダのneologdをコピーする
- Program Files>MeCab>etcの中にあるmecabrcをメモ帳で開き，下の一行を追加する
```
userdic = C:\Program Files\MeCab\dic\neologd\NEologd.20200820-u.dic
```