技術メモの履歴(No.17)

武藤?

Python関連

R言語関連 ←KEGG pathway(KGML)の解析用

Jupyter Notebook関連

Beamer用TeXコマンド

研究室関係

Blockly関係

Jupyterを使ったWEBテキストマイニング

WEBサイトの検索結果に出てくるサイトから文章をスクレイピング+自然言語処理(形態素解析)し、3Dグラフを作る

スクレイピング:Webサイトから何かしらのデータを自動で取ってくる技術のこと
テキストマイニング:文章中の単語どうしのつながりなどを分析し、有用な情報を見つける(マイニングする)こと

pythonからjupyterインストール

(anaconda使ってる人はanacondaから開く)

コマンドプロンプトでpythonのパスの通りを確認 [#o669b31c]
```
python -V
```
jupyterをインストール [#h2e417e1]
```
pip install jupyter environment_kernels
```
jupyter起動 [#wd3bdadf]
```
jupyter notebook
```
配布フォルダの中にあるweb_tmining3dg.ipynbをJupyter側から辿って開く[#p8dd02b6]
プログラムの処理ごとに分割してあるので１個づつ実行していく [#b8c11b4f]
- Shift+Enterでプログラム実行
- 処理が終わると左上に番号が出る

Webスクレイピング

1番目のプログラムのimportでエラーが出ると思うのでpip installしていく

入れたほうがいいもの

requests_oauthlib
------------スクレイピング用
selenium
chromedriver_binary
bs4
lxml
------------自然言語処理用
emoji
nltk
MeCab
------------3Dグラフ用
networkx
------------Server.py起動用
flask
flask_cors

何かのモジュールがないと出るたびにpipで入れていく

3つ目のプログラムを実行する前配布フォルダ中のcsvを編集する
- 属性データ(大学生・夫婦など)、検索キーワード、地名データ(東京・太閤山など)には検索したい好きなワードを入れる。(空欄にしたいときは「指定しない」を入れる)
- 4行目を編集したcsvがあるディレクトリにする
```
rd = pd.read_csv(C:/Users/iiela/OneDrive - 富山県立大学/idea_graph/Web3DGraph/keywords.csv', encoding="shift-jis")
```

4つ目のプログラム--->スクレイピング

下のエラーが出る場合(pipのseleniumとchrome.exeのバージョン違いエラー)

selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 88
Current browser version is 92.0.4515.131 with binary path C:\Program Files (x86)\Google\Chrome\Application\chrome.exe

言われているバージョンをpip install(ver.88→ver.92へ)

pip install chromedriver-binary==92.0.4515.131

おそらく赤字でエラーが出る

ERROR: Could not find a version that satisfies the requirement chromedriver-binary==92.0.4515.131 (from versions:  ～～～, 91.0.4472.101.0, 92.0.4515.43.0, 92.0.4515.107.0, 93.0.4577.15.0)
ERROR: No matching distribution found for chromedriver-binary==92.0.4515.131

バージョンが列記されると思うので一番近いバージョンをインストール

pip install chromedriver-binary==92.0.4515.107.0

逆パターンでchrome.exe(クローム本体)よりchromedriverの方が新しいということもある
→その場合、

◎4行目について

csvに入れたキーワードで自動検索するソースコード
htmlで検索窓を実装しているタグ(qというnameタグ)を探し，そこにキーワードを打ち込んで検索ボタンを勝手に押すようにしている
- 2行目のrankinng関数を呼び出し，検索結果のwebサイトのリンクとタイトルをスクレイピングする
  (→どちらもtF2Cxcというclassタグに入っているので，そこを見つけて取ってきている)

5つ目のプログラム保存したリンク先のWebサイトに飛び，文章をスクレイピングする
→最終的に1つのテキストファイルに文章は保存される

8つ目のプログラム文章から不必要な文字列を除去し，Mecabの辞書に基づいて単語単位に分割する
- 辞書について MeCabは形態素分析を行うモジュールで、その形態素分析を行うときに使う辞書があるデフォルトの辞書では例えば「進撃の巨人」という言葉を見ても「進撃　の　巨人」という分析結果になってしまう。これはデフォルトの辞書には進撃の巨人という名詞が存在していないから起こってしまうそこで、NEologdという新しい辞書を追加する
MeCab
- C:\Program Files\MeCab\dic 内に配布フォルダのneologdをコピーする
- Program Files>MeCab>etcの中にあるmecabrcをメモ帳で開き，下の一行を追加する
```
userdic = C:\Program Files\MeCab\dic\neologd\NEologd.20200820-u.dic
```

12番目のプログラム隣接行列を生成(まだ要素は0のまま)
- 3Dグラフの基
- 行の単語から列の単語に向かって矢印が描かれ，値がエッジ(辺)の太さになる

13番目共起頻度を計算する
- word_list(重複している単語リスト)を基に順序関係を見る

'あ'の次に'い'が来ているので隣接行列の'あ'行'い'列の要素に+1される
(文章中の単語'あ'に対して'い'が1回共起されたとみなす)

14番目
- 全ての行の共起頻度の合計を計算する
- 合計値の大きい順に単語を並び替える(列に対しても同じ操作をする)
- 上位数十件(DfNumで調整)の単語だけ切り取った隣接行列を作る

15番目
- 単語の重み(正規化した共起頻度)を出す

16番目
- 閾値以下の単語を除外して，新しい隣接行列を作る

Jupyterで3Dグラフを開く

17番目
pandasのデータフレーム型になっている隣接行列をpythonの辞書型に変換する
→この辞書を参考に3Dグラフが作られる
- "nodes"にはノード(頂点)に入れる単語の情報が入る(csvのキーワードになっている単語だけ赤色になるなど)
- "links"にはエッジ(辺)の情報(矢印の出発ノードから到着ノード，辺の太さweight(単語間の共起頻度など)が入る

18番目
辞書型のデータをjson形式にする
- サーバとデータをやり取りするときはjson形式にすることが多い

19,20番目
サーバ経由でデータを送って，htmlで3Dグラフを描画する

技術メモ の履歴(No.17)