スクレイピング・自然言語処理・3Dグラフ の履歴(No.6)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• スクレイピング・自然言語処理・3Dグラフ へ行く。
  • 1 (2020-09-28 (月) 17:03:20)
  • 2 (2020-09-28 (月) 19:33:28)
  • 3 (2020-10-15 (木) 17:44:14)
  • 4 (2020-10-15 (木) 18:18:06)
  • 5 (2020-10-16 (金) 12:29:10)
  • 6 (2020-10-19 (月) 16:46:30)
  • 7 (2020-10-19 (月) 19:22:34)
  • 8 (2020-11-05 (木) 12:00:53)
  • 9 (2020-11-12 (木) 15:06:13)
  • 10 (2020-11-12 (木) 17:00:00)
  • 11 (2020-11-12 (木) 19:16:34)
  • 12 (2020-11-13 (金) 12:30:14)
  • 13 (2020-12-09 (水) 16:48:13)
  • 14 (2020-12-10 (木) 15:50:53)

---

技術資料

目次 

山元さんの卒論の再現をおこなう

【参考資料】 

山元?

【実行環境】 

・python3.x
※初めてpythonをインストールするときはanacondaを使ってインストールするのがおすすめ

【ダウンロードするもの】 

google driveの学生→09平松の場所にあるneologd.zip

【使い方】 

ファイルの説明 

とりあえず、ダウンロードした3D_Graph.zipを解凍する。
解凍した中身の3D_Graphを開く。※＿MACOSXの方は使わない

・Server.py
サーバーを立てるメインのpythonプログラム

・matomeall.py
Server.pyとセットのプログラム。単体では動かない

・system.html
Server.pyを実行した後に開き、キーワード入力、3Dグラフを表示するもの

・miserables.json
スクレイピングして形態素分析した後のデータが記録されるファイル

・その他
特に触る必要はない

pythonのpip install 

anaconda promptかcommand promptで以下のコマンドのディレクトリの部分をrequestment.txtの任意のディレクトリに変更して打ち込みpipモジュールを一括でインストールする

pip install -r C:\Users\hiram\Desktop\requirement.txt

インストールするモジュールの中にはただpip install 〇〇とやるだけではインストールできないものもある

例えば、chromedriverがそうで
https://qiita.com/hanzawak/items/2ab4d2a333d6be6ac760
を参考にするとできる

また、MeCabもそうで、pipとは別に本体をダウンロード&インストールしないといけない
https://qiita.com/menon/items/f041b7c46543f38f78f7
を参考にしてインストールする

MeCabの辞書 

MeCabは形態素分析を行うモジュールで、その形態素分析を行うときに使う辞書がある
デフォルトの辞書では例えば「進撃の巨人」という言葉を見ても「進撃　の　巨人」という分析結果になってしまう。
これはデフォルトの辞書には進撃の巨人という名詞が存在していないから起こってしまう
そこで、NEologdという新しい辞書を追加する

Neologdの追加 

Neologdの追加の仕方は、
https://qiita.com/zincjp/items/c61c441426b9482b5a48 を参考にする

googledriveからダウンロードしたneologd.zipを使えば，辞書ファイルのコンパイルまで作業をスキップできる