![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2020-02-20T07:54:20+00:00","","") #author("2020-02-20T07:55:33+00:00","","") #CONTENTS 参考記事 [[Web, Twitterからのテキストマイニングによる因果・知識の発見]] [[小野田]] **1. cudaのバージョンを整える [#i67428c5] ubuntuの環境で行う ※GTX1080tiより上のパソコンで小野田のプログラムを動かす場合はpytorchを0.4.1にしなければならない また、そのプログラムは平松のGdriveに保存してある https://drive.google.com/drive/u/2/folders/1PAHB_m69fJl2Z8uBZPV8ebuwKwMOsVia 以下の小野田の引き継ぎを行う場合は、cudaのバージョンを10.0にすること また、それに対応するnvidiaドライバーとcudnnのバージョンを選択すること 各自のインストール方法は[[GPGPU>横井さんのロビー/GPGPU]]を参考にすること **2. git hub cloneのインストールを行う [#i67428c5] git hub cloneのインストールを行う 上記リンクに移動し、右の緑色のタブのclone or downloadを開きリンクをコピーする. $ git clone https://github.com/pomcho555/Patent-VAE terminalで上記のものを打ち込む※git clone [コピーしたリンク] condaの環境を新しく作る $ conda create -n vae python=3.6 ※vaeが自分で決めた名前 activateでpythonの仮想環境に入る $ conda activate vae また、一度にインストールできないものを手動で入れる $ pip install spacy $ python -m spacy download en_core_web_sm $ pip install git+https://github.com/tagucci/pythonrouge.git $ pip install git+git://github.com/bdusell/rougescore.git pipのインストールをまとめて行う $ pip install -r requirements.txt **3. 学習を行う [#i67428c5] ターミナルの作業はディレクトリはPatent-VAEで行う $ python train_patent.py -ls 2 -rnn rnn -ep 2 ※-ls 2は次元数を指定するオプションで今回は2 ※-rnn リカレントニューラルネットワークを指定するオプションで今回はrnn ※-ep 1はエポック数で何回繰り返し学習を行うかのオプションで今回は2 詳しくは小野田の論文参照 また以下コマンドで使えるオプションの一覧を確認できる. $ python train_patent.py --help //写真 #ref(saved.png,,50%) //modelsavedの写真 apiの起動に使うので覚えておく(bin/～～～のようなもの) **4. apiサーバー(python server)を立てる [#i67428c5] Gdriveの小野田さんのフォルダを開き、学習済みデータのactual.pytorchとdata.tar.xzをダウンロードし、Patent-VAEのフォルダに移動する。 ※もし自分で学習したい場合はdump.tar.xzをrestoreすることでmongoDBにて特許３万件分のデータが利用できるので、それを使う api（python server）の起動方法 $ cd Patent_VAE $ cd api $ python api.py -z [圧縮したい次元数（今回は２）] -c [保存したモデルのファイル名（今回はactual.pytorch）] これでapiサーバーがたつ。 #ref(server.png,,50%) サーバーなのでhtmlのリクエスト内容などが表示される **5. curlでテストする [#i67428c5] //写真 #ref(curl.png,,50%) http://[serverのipアドレス]:5000/でcurlでテストを行う $curl 127.0.0.1:5000/create/2/2 ※curlとはデータの転送を行うコマンド ※/2/2は任意のx座標とy座標のこと //写真生成された文章 **6. webページでテストする [#i67428c5] また、index.htmの下記の画像のAPIの部分を自分のIPアドレスに変更する （ローカルでのみ確認したい場合は127.0.0.1でよい) #ref(ip.png,,50%) Patent-VAE→app→index.htmからWebページを開き、ヒートマップの任意の座標をクリックすると、自動生成された文章を見ることができる #ref(heat.png,,50%)
