スクレイピング・自然言語処理・3Dグラフの履歴(No.13)

技術資料

また、MeCabもそうで、pipとは別に本体をダウンロード&インストールしないといけない
https://qiita.com/menon/items/f041b7c46543f38f78f7
を参考にしてインストールする
※上記リンク先のanacondaのインストールはスキップ ※python3.8の場合、上記リンクのpip install mecab-python-windowsではなくpip install mecabだとできる

[失敗備忘録]
requirements.txtでpipを一括でインストールする際anaconda環境で作成するとanaconda環境じゃない人は一括でインストールできなかった

MeCabの辞書

MeCabは形態素分析を行うモジュールで、その形態素分析を行うときに使う辞書がある
デフォルトの辞書では例えば「進撃の巨人」という言葉を見ても「進撃　の　巨人」という分析結果になってしまう。
これはデフォルトの辞書には進撃の巨人という名詞が存在していないから起こってしまう
そこで、NEologdという新しい辞書を追加する

Neologdの追加

Neologdの追加の仕方は、
https://qiita.com/zincjp/items/c61c441426b9482b5a48 を参考にする

基本このwikiを見て進めれば大丈夫で詳しくは上記URL参照

googledriveからダウンロードしたneologd.zipの中身のmecab-ipadic-neologdを使えば，辞書ファイルのコンパイルまで作業をスキップできる

neologd.zipの中身のmecab-ipadic-neologdをdicのフォルダにコピーする
ipadicの中身を全部コピーしたフォルダipadic-UTF8と中身のないフォルダneologdを作成する

管理者権限でコマンドプロンプトを起動し，ipadic-UTF8のディレクトリに移動し，ipadicの中身をUTF8に変換する

cd "c:\Program Files\MeCab\dic\ipadic-UTF8"

mecab-dict-index -f utf-8 -t utf-8

Neologdの辞書をコンパイルする

cd "c:\Program Files\MeCab\dic\mecab-ipadic-neologd\seed"

mecab-dict-index -d "c:\Program Files\MeCab\dic\ipadic-UTF8" -u NEologd.20200820-u.dic -f utf-8 -t utf-8 mecab-user-dict-seed.20200820.csv

mecab-ipadic-neologdのフォルダに作られたNEologd.20200820-u.dicを最初に作った空のneologdのフォルダに移動させる

コマンドプロンプトの作業は終わり

Program Files>MeCab>etcの中にあるmecabrcをメモ帳で開き，userdicの一行を追加する

userdic = C:\Program Files\MeCab\dic\neologd\NEologd.20200820-u.dic

保存しようとすると権限がないといわれるので一旦どこか適当な場所に保存して拡張子.txtを削除してから元々あったmecabrcと入れ替える

これで形態素分析ができるようになる

一応ちゃんとneologdが導入されているか確かめるテストプログラムを添付しておく
以下のプログラムで画像のような結果が出れば成功．
進撃の巨人が名詞として認識されていなかったら導入できていない

teest.py

matomeall.pyとserver.pyに書いてあるmiserables.jsonなどのpathが平松のPCの絶対pathになっているので直す必要がある
※普通にアドレスのコピーをするとバックスラッシュになるので/に直す

※Windowsでやる場合おそらくssl証明書関連のErrorが出ると思われるので下記のMaxRetryErrorの対処法を参考にすると直せる

【エラーの対処】

・MaxRetryError: HTTPSConnectionPool
下記のページのopensslをインストールして環境変数を通すところまでやれば直る
https://www.atmarkit.co.jp/ait/articles/1601/29/news043.html

・NetworkXError
matomeall.pyのranking関数の

class_group = driver.find_elements_by_class_name('rc')

のrcの部分がgoogleの気まぐれで変わることがあるのでchromeを開いてhtmlのタグを画像のように調べる

【実行結果】

server.pyを起動したあと，system.htmlを起動して好きなキーワード二つ入れて実行を押せば3Dのグラフが作成される

ノートパソコンなどで実行するとスクレイピングと形態素分析に5分～10分ほど時間がかかってしまうと思われる

また、python 32bit版を使っているとスクレイピングしてきたデータ量が32bitで足りなくなるので64bit版をつかう必要がある。windowsが32bit版の場合は恐らくどうしようもない

富山県立大学と高齢者のキーワードで作った例

スクレイピング・自然言語処理・3Dグラフの履歴(No.13)

目次

【参考資料】

【実行環境】

【ダウンロードするもの】

【使い方】

ファイルの説明

pythonのpip install

MeCabの辞書

Neologdの追加

【エラーの対処】

【実行結果】

スクレイピング・自然言語処理・3Dグラフ の履歴(No.13)

目次

【参考資料】

【実行環境】

【ダウンロードするもの】

【使い方】

ファイルの説明

pythonのpip install

MeCabの辞書

Neologdの追加

【エラーの対処】

【実行結果】

スクレイピング・自然言語処理・3Dグラフの履歴(No.13)