技術メモの履歴(No.20)

武藤?

Python関連

R言語関連 ←KEGG pathway(KGML)の解析用

Jupyter Notebook関連

Beamer用TeXコマンド

研究室関係

Blockly関係

Jupyterを使ったWEBテキストマイニング

WEBサイトの検索結果に出てくるサイトから文章をスクレイピング+自然言語処理(形態素解析)し、3Dグラフを作る

スクレイピング
- Webサイトから何かしらのデータを自動で取ってくる技術のこと
テキストマイニング
- 文章中の単語どうしのつながりなどを分析し、有用な情報を見つける(マイニングする)こと

以下の手順に従って進めていく

1.添付フォルダのダウンロード

添付フォルダ1

#ref(): File not found: "neologd.zip" at page "技術メモ"

フォルダ内のファイルについて

keywords.csv
- スクレイピングする際に必要なキーワードを入れるcsvファイル
stopwprd.txt
- 文章から除外する指示語や代名詞を載せたリスト
4つのjavascript(js)ファイル
- 3Dグラフがhtml上で動作するのに必要なもの
Server.py
- Jupyterで作成したグラフ情報をhtmlに送るためのもの
web3D.html
- 3Dグラフを描画する場所
web_tmining3dg.jpynb
- テキストマイニングを行うJupyterファイル
(neologd内)NEologd.20200820-u.dic
- 文章を単語に分解する際に参照する辞書

2.pythonからjupyterインストール

(anacondaを使ってる場合はanacondaから開く)

コマンドプロンプトでpythonのパスの通りを確認
```
python -V
```
jupyterをインストール
```
pip install jupyter environment_kernels
```
jupyter起動
```
jupyter notebook
```

3.Webスクレイピング

1.jupyterの画面でディレクトリをたどって、web_tmining3dg.ipynbを開く

開くと今回実行するプログラムが出てくる
jupyterではプログラムを分割し、一行単位でプログラムの挙動を確認できる
→システム開発をするときに便利
今回はプログラムを1番～21番まで分割してあるので、順番に実行していく

jupyterについて

Shift + Enterで実行できる
処理中は[*]となり、終わると左上に番号が出るのでそれまで待つ
プロンプトで動いているjupyterプログラムを停止or閉じると、リセットされ、1番目からやり直しする必要があるので注意

基本はプログラムを一つずつ実行していく感じだが

実行前にやること、実行時のエラー対応+プログラムの補足説明を載せているので、その都度確認する

2. 1番目のプログラム実行時

importでno moduleエラーが出ると思うのでpip installしていく

jupyter画面左上の+でコードを書くセルを出せるので、そこに打ち込んでいく

入れるもの

scipy
requests_oauthlib
------------スクレイピング用
selenium
chromedriver_binary
bs4
lxml
------------自然言語処理用
emoji
nltk
MeCab
------------3Dグラフ用
networkx
------------Server.py起動用
flask
flask_cors

何かのモジュールがないと出るたびにpipで入れていく

3. 3つ目のプログラムを実行する前

配布フォルダ中のcsvを編集する

属性データ(大学生・夫婦など)、検索キーワード、地名データ(東京・太閤山など)には検索したい好きなワードを入れる。(キーワードなしのときは「指定しない」を入れる)

4行目を編集したcsvがあるディレクトリにする
例

rd = pd.read_csv(C:/Users/iiela/Desktop/keywords.csv', encoding="shift-jis")

4. 4つ目のプログラム(スクレイピング)実行時

下のエラーが出る場合(pipのseleniumとchrome.exeのバージョンが違うエラー)

selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 88
Current browser version is 92.0.4515.131 with binary path C:\Program Files (x86)\Google\Chrome\Application\chrome.exe

言われているバージョンをpip install(ver.88→ver.92へ)

pip install chromedriver-binary==92.0.4515.131

おそらく赤字でエラーが出る

ERROR: Could not find a version that satisfies the requirement chromedriver-binary==92.0.4515.131 (from versions:  ～～～, 91.0.4472.101.0, 92.0.4515.43.0, 92.0.4515.107.0, 93.0.4577.15.0)
ERROR: No matching distribution found for chromedriver-binary==92.0.4515.131

バージョンが列記されると思うので一番近いバージョンをインストール

pip install chromedriver-binary==92.0.4515.107.0

逆パターンでchrome.exe(クローム本体)のver.が(例)92.0.4515.107.0でよりchromedriver-binaryの方が93で新しいということもある
→その場合、chrome.exeのバージョンと同じchromedriver-binaryをインストールする
```
pip install  chromedriver-binary==92.0.4515.107.0
```

◎4行目について

csvに入れたキーワードで自動検索するソースコード
htmlで検索窓を実装しているタグ(qというnameタグ)を探し，そこにキーワードを打ち込んで検索ボタンを勝手に押すようにしている
- #2のrankinng関数を呼び出し，検索結果のwebサイトのリンクとタイトルをスクレイピングする
  (→どちらもtF2Cxcというclassタグに入っているので，そこを見つけて取ってきている)

5. 5つ目のプログラム

保存したリンク先のWebサイトに飛び，文章をスクレイピングする
→最終的に1つのテキストファイルに文章は保存される

linkdir,txtdirを添付フォルダ内のディレクトリにする

この後もファイルの保存・呼び出しで、パスを指定する箇所がいくつかあるが

1番下のファイル名は変えず、C:からWebsc3Dまでを自分のものに変更していく

4.形態素解析、共起頻度計算

形態素解析：文章を意味のある最小単位の単語(形態素)に分解して分析する(自然言語処理の一種)

6. 8つ目のプログラム実行前1~

Mecab(形態素分析を行うモジュール)をインストールする(リンク先の.exeのみ)
```
https://github.com/ikegami-yukino/mecab/releases/tag/v0.996
```
パスを通しておく(システム環境変数の編集で変数Pathを編集する)

新規でmecab.exeがあるパスを追加する

C:\Program Files\MeCab\bin\

mecabと打った後、「形態素解析」と打ってみる
何か出てEOSが表示されていればOK
pythonでもmecabを試す
- 下図の4行を1行ずつ打ち込んで形態素解析結果が出ればOK
```
import sys
import MeCab
m = MeCab.Tagger ("-Ochasen")
print(m.parse ("東京特許許可局"))
```

8つ目のプログラム実行前2
ここでやっていること：文章から不必要な文字列を除去し，Mecabの辞書に基づいて単語単位に分割する

辞書について
- どのような単位で単語を区切るかなどのルールを記したもの
- 辞書はなるべく頻繁に更新したほうがいい
  デフォルトの辞書(2007年版？)では「進撃の巨人」に対して「進撃　の　巨人」という分析をしてしまう
  →辞書を日々更新することで流行語などを正確に1つの単語として分析してくれる

インストールしたMecabには古い辞書しか入っていないので、NEologdという新しい辞書を追加する

C:\Program Files\MeCab\dic 内に配布フォルダのneologdをコピーする
Program Files>MeCab>etcの中にあるmecabrcをメモ帳で開き，下の一行を追加する
```
userdic = C:\Program Files\MeCab\dic\neologd\NEologd.20200820-u.dic
```

12番目のプログラム隣接行列を生成(まだ要素は0のまま)
- 3Dグラフの基
- 行の単語から列の単語に向かって矢印が描かれ，値がエッジ(辺)の太さになる

13番目共起頻度を計算する
- word_list(重複している単語リスト)を基に順序関係を見る

例えば、単語'あ'の次に'う'が来ているので隣接行列の'あ'行'う'列の要素に+1される
(文章中の単語'あ'から'う'が1回共起されたとみなす)

15番目
- 全ての行の共起頻度の合計を計算する
- 合計値の大きい順に単語を並び替える(列に対しても同じ操作をする)
- 上位数十件(DfNumで調整)の単語だけ切り取った隣接行列を作る

16番目
- 単語の重み(正規化した共起頻度)を出す

17番目
- 閾値以下の単語を除外して，新しい隣接行列を作る

5.Jupyterで3Dグラフを開く

18番目
今pandasのデータフレーム型になっている隣接行列をpythonの辞書型に変換する
→この辞書を参考に3Dグラフが作られる
- "nodes"にはノード(頂点)に入れる単語の情報が入る(csvのキーワードになっている単語だけ赤色になるなど)
- "links"にはエッジ(辺)の情報(矢印の出発ノードから到着ノード，辺の太さweight(単語間の共起頻度など)が入る

19番目
辞書型のデータをjson形式にする
- サーバとデータをやり取りするときはjson形式にすることが多い

20,21番目
サーバ経由でデータを送って，htmlで3Dグラフを描画する

技術メモ の履歴(No.20)