小野田さん引き継ぎの編集

#CONTENTS

参考記事

[[Web, Twitterからのテキストマイニングによる因果・知識の発見]]

[[小野田]]
**1. cudaのバージョンを整える [#i67428c5]
ubuntuの環境で行う

※GTX1080tiより上のパソコンで小野田のプログラムを動かす場合はpytorchを0.4.1にしなければならない

また、そのプログラムは平松のGdriveに保存してある

https://drive.google.com/drive/u/2/folders/1PAHB_m69fJl2Z8uBZPV8ebuwKwMOsVia

以下の小野田の引き継ぎを行う場合は、cudaのバージョンを10.0にすること

また、それに対応するnvidiaドライバーとcudnnのバージョンを選択すること

各自のインストール方法は[[GPGPU>横井さんのロビー/GPGPU]]を参考にすること

**2. git hub cloneのインストールを行う [#i67428c5]
git hub cloneのインストールを行う

上記リンクに移動し、右の緑色のタブのclone or downloadを開きリンクをコピーする.

$ git clone https://github.com/pomcho555/Patent-VAE

terminalで上記のものを打ち込む※git clone [コピーしたリンク]

condaの環境を新しく作る
   $ conda create -n vae python=3.6
※vaeが自分で決めた名前

activateでpythonの仮想環境に入る

$ conda activate vae
また、一度にインストールできないものを手動で入れる
   $ pip install spacy

$ python -m spacy download en_core_web_sm

$ pip install git+https://github.com/tagucci/pythonrouge.git

$ pip install git+git://github.com/bdusell/rougescore.git

pipのインストールをまとめて行う
   $ pip install -r requirements.txt

**3. 学習を行う [#i67428c5]

ターミナルの作業はディレクトリはPatent-VAEで行う

$ python train_patent.py -ls 2 -rnn rnn -ep 2

※-ls 2は次元数を指定するオプションで今回は2

※-rnn リカレントニューラルネットワークを指定するオプションで今回はrnn

※-ep 1はエポック数で何回繰り返し学習を行うかのオプションで今回は2

詳しくは小野田の論文参照

また以下コマンドで使えるオプションの一覧を確認できる.

$ python train_patent.py --help

//写真
#ref(saved.png,,50%)
//modelsavedの写真

apiの起動に使うので覚えておく(bin/～～～のようなもの)

**4. apiサーバー(python server)を立てる [#i67428c5]
Gdriveの小野田さんのフォルダを開き、学習済みデータのactual.pytorchとdata.tar.xzをダウンロードし、Patent-VAEのフォルダに移動する。

※もし自分で学習したい場合はdump.tar.xzをrestoreすることでmongoDBにて特許３万件分のデータが利用できるので、それを使う

api（python server）の起動方法

$ cd Patent_VAE

$ cd api

$ python api.py -z [圧縮したい次元数（今回は２）] -c [保存したモデルのファイル名（今回はactual.pytorch）]

これでapiサーバーがたつ。
#ref(server.png,,50%)
サーバーなのでhtmlのリクエスト内容などが表示される

**5. curlでテストする [#i67428c5]

//写真

#ref(curl.png,,50%)

http://[serverのipアドレス]:5000/でcurlでテストを行う

$curl 127.0.0.1:5000/create/2/2
※curlとはデータの転送を行うコマンド
※/2/2は任意のx座標とy座標のこと

//写真生成された文章

**6. webページでテストする [#i67428c5]

また、index.htmの下記の画像のAPIの部分を自分のIPアドレスに変更する

（ローカルでのみ確認したい場合は127.0.0.1でよい)
#ref(ip.png,,50%)

Patent-VAE→app→index.htmからWebページを開き、ヒートマップの任意の座標をクリックすると、自動生成された文章を見ることができる
#ref(heat.png,,50%)

タイムスタンプを変更しない