![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2021-02-26T05:36:04+00:00","","") #author("2021-02-26T05:36:12+00:00","","") [[技術資料]] &size(17){COLOR(red){※このページは下記ページができた前提で書かれています}}; *[[スクレイピング・自然言語処理・3Dグラフ]] [#x078f9ae] #CONTENTS **【参考サイト】 [#g760028a] ・QGISで東京都の市町村区分を表示する~ https://data.nifcloud.com/blog/the-population-of-tokyo_data-visualization_qgis/ ・市町村区分のデータをダウンロードして結合するやつ~ https://note.com/kinari_iro/n/nfee9bc97b6d7 ・QGISプログレスバー~ https://docs.qgis.org/3.10/ja/docs/pyqgis_developer_cookbook/communicating.html ・QGISサーバー系~ https://docs.qgis.org/3.4/ja/docs/pyqgis_developer_cookbook/server.html https://qiita.com/Yfuruchin/items/9f466d4bedcb5bda3038 https://groups.google.com/g/qgisshitumon01/c/4XHXcEPhpXc **【ダウンロードするもの】 [#gb5b13d6] ・IdeaGraphプラグイン~ -平松のGoogleDriveにあるIdeaGraphの一番バージョンが新しいもの(現時点2021/2/19ではv15.0) ・Shapeファイル~ -平松のGoogleDriveにあるQGISデータというzipファイル **【インストールするもの】 [#t95eb552] ・QGIS ・Python3.7(QGISに内蔵されているものでプラグインは実行される) ・VScode (pythonのコードを編集するために使う. 気にならないならメモ帳でも可) **【実行環境】 [#x9841c7c] ・QGIS 3.16 ・Python 3.7.6 ・windows10 64bit **【システムの流れ】 [#z168a88f] #ref(arci.png,,45%) **【使い方】 [#u57231db] 『目次』 1．Shapeファイルの用意~ 2．TwitterAPIとGoogleAPIの取得とコードの変更~ 3．プラグインの導入~ 4．地理データの読み込み~ 5．プラグイン実行 *** 1．Shapeファイルの用意 [#lb54fb69] GoogleDriveにあるQGISデータのShapeファイルと国勢調査などの地域名の入ったcsvファイルを用意する ・下記のe-Stat政府統計窓口などのサイトでオープンデータをダウンロードする~ https://www.e-stat.go.jp/ ダウンロードしたファイルがExcelの場合、表形式になるよう不要なセルを削除し，csvに変換する． また，csvのコラム名の型名を記すcsvtファイルを作る必要がある． 下記のサイトを参考にした．~ ・QGISで東京都の市町村区分を表示する~ https://data.nifcloud.com/blog/the-population-of-tokyo_data-visualization_qgis/ *** 2．TwitterAPIとGoogleAPIの取得とコードの変更 [#w73dac9f] TwitterAPIを取得の仕方は以下のサイトを参考にする~ https://www.itti.jp/web-direction/how-to-apply-for-twitter-api/ GoogleAPIは以下のサイトを参考にして取得する~ https://www.webdesignleaves.com/pr/plugins/googlemap_01.html こうして取得した各APIKeyをIdeaGraphプラグインの中に入っているidea_graph.pyとTextmining.pyの画像の箇所を記入する。 #ref(gapi.PNG,,45%) #ref(tapi.PNG,,45%) その後，IdeaGraphをzipファイルに圧縮してidea_graph.zipにする *** 3．プラグインの導入 [#r9990de8] QGISの上のタブのプラグイン→プラグインの管理とインストールをクリックする~ 開かれたウィンドウのZIPからのインストールで2で作成したzipファイルを選択しインストールする インストールされるとQGISの右上に電球のアイコンが表示される #ref(gh.PNG,,45%) *** 4．地理データの読み込み [#u0d0736f] SHAPEファイルはshpファイルを，csvも同様にQGISにドラックして読み込むことができる shpとcsvをテーブル結合させるには以下のサイトを参考にして行う~ https://data.nifcloud.com/blog/the-population-of-tokyo_data-visualization_qgis/ #ref(qq1.PNG,,60%) *** 5．プラグイン実行 [#r151f733] プラグインを実行するには右上の電球のアイコンをクリックする~ すると以下のミニウィンドウが表示される #ref(wi.PNG,,60%) 属性データには，地図上に表示されている日本語のshpファイル名とシンボロジで色別で表示した属性データのカラム名が入る~ 任意のキーワードは，日本語であれば何でも入れることができ*，半角空白で区切ることで複数の単語を入力できる．~ ※ちなみに日本語でなくてもスクレイピングは可能だが形態素分析が対応していないので，グラフには表示されないという意味 地名データは，指定しないを選択した後OKを押せばすぐにテキストマイニングが開始される．~ 地図上で指定するを選択してOKを押した場合は，ミニウィンドウが閉じ，QGISの地図上でマウスカーソルが十字になり左クリックを押すことでその場所の地名が入る．~ 地名は数字以降を除いた町名が入る．~ 例えば，「富山県射水市戸破3丁目13番地」の場合「戸破」がキーワードになる． また，右クリックすることで，QGIS内のPythonコンソールに住所が表示される． テキストマイニングが開始されると新規コマンドプロンプトが自動で起動され，プログラムの進捗状況が表示される．~ #ref(scc.png,,40%) 最後まで行くとhtml表示用のサーバーのウィンドウが自動で立ち上がり，twitterとWebの3DグラフとTwitterの統計を示す表のHTMLが自動で表示される #ref(a1.png,,40%) #ref(b.png,,40%) **【エラーの対処】 [#j67865c1] ***【新しいウィンドウがすぐに消える】 [#p01c9da9] プラグイン実行した際に本来であれば、新規コマンドプロンプトが起動されるがすぐに消えてしまうことがある。 これは、pipのインストールが不足しているときに起こるものである。 Textmining.pyとidea_graph.pyのpipを確認し不足しているものをpip install ○○ でインストールする もしくは消える瞬間が速すぎて見えないのでスマホか画面キャプチャで録画してエラー文を見てpipのインストールを行う。 ***【API Error】 [#id184a68] GoogleMapAPIかTwitterAPIのAPIが間違っているときに発生する。 GoogleMapAPIならばidea_graph.pyを変え、TwitterAPIならTextmining.pyを変更する。
