ヴィジュアルプログラミングによるDS技術の編集

[[専門ゼミ(平井）]]

#CONTENTS

**1. 目標 [#i67428c5]

ビジュアルプログラミングによるデータ処理を行う。Blocklyというオープンソースのビジュアルプログラミングを用いる。使用するプログラミング言語は主にJavascriptである。

**2. 環境構築及び実行 [#e321d51d]

***必要なもの [#j04453c8]

-パソコン(OSはいずれでもよいがLinuxで運用するのが普通だと思う)
-
-
-
-

***Windows SubSystem for Linux2（WSL2）（Linux、UNIXでも可） [#v743175a]
とりあえず、WSL2のインストールから始める。以下のサイト見ながらでできる。
https://docs.microsoft.com/ja-jp/windows/wsl/install-win10

一応ここにその内容を記す。まず、管理者権限でPowerShellを開き、次のコマンドを入力する。
 dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

次に、同じくpowershellでwindowsのどのシステムを使用しているか次のコマンドで確認する。
 systeminfo | Select-String  "システムの種類"

コマンドプロンプトの場合はこれ
 systeminfo | find "システムの種類"

次にwindowsのバージョンを確認する。バージョンとビルド番号を確認するには、 Windows ロゴ キー + R キー を押して、「 winver 」と入力し、 [OK] を選択します。 (または、Windows コマンド プロンプトで ver コマンドを入力します)。 一つ前の手順で調べたシステムに必要な最新の Windows バージョンを満たしてない場合、更新します。
-x64 システムの場合: バージョン 1903 以降、 ビルド 18362 以上。
-ARM64 システムの場合: バージョン 2004 以降、 ビルド 19041 以上。
-18362 より前のビルドは WSL 2 をサポートしていません。 Windows 更新アシスタントを使用して、お使いのバージョンの Windows を更新します。Windows 10 バージョン 1903 または 1909 を実行している場合は、Windows メニューから [設定] を開き、[更新とセキュリティ] に移動して、[更新プログラムのチェック] を選択します。 ビルド番号は、18362.1049+ または 18363.1049+ で、マイナー ビルド番号は .1049 より大きい必要があります。windowsのマイナービルド番号を満たしていない場合は、windowsマークをクリックして、歯車マークをクリックして設定を開きWindows Updateを行う。

WSL 2 をインストールする前に、" 仮想マシン プラットフォーム " オプション機能を有効にする必要があります。管理者として PowerShell を開き、以下を実行します。

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

お使いのパソコンを&size(20){&color(red,white){再起動};};して WSL のインストールを完了し、WSL 2 に更新します。

次にWSL2Linuxカーネル更新プログラムパッケージをダウンロードする。システムがx64の場合はx64、ARM64の場合はARM64をクリックする。

[[x64:https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi]]

[[ARM64:https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_arm64.msi]]

ダウンロード後、ダウンロードしたファイルを実行する。

次に、次のコマンドで、新しい Linux ディストリビューションをインストールする際の既定のバージョンとして WSL 2 を設定します。

wsl --set-default-version 2

次に、Ubuntu 20.04 LTSをMicrosoft Storeからインストールする。
下のリンクに行って入手を選択する。

[[Ubuntu 20.04 LTS:https://www.microsoft.com/store/apps/9n6svws3rx71]]

複数のデバイスで使うか聞かれたら必要ないと答える。

その後、起動し、ユーザー名とパスワードを設定する。もちろん、どちらも覚えるか記録しておく。

このユーザー名およびパスワードは、インストールする Linux ディストリビューションごとに固有であり、Windows ユーザー名とは関係ありません。
ユーザーがユーザー名およびパスワードを作成すると、そのアカウントがディストリビューションの既定のユーザーとなり、起動時に自動的にサインインされます。
このアカウントは、Linux 管理者と見なされ、sudo (Super User Do) 管理コマンドを実行できます。

***WSL2のBlocklyのための環境構築 [#s827ee10]

ここから、Ubuntuで作業する。Ubuntuで次のコマンドを実行する。

sudo apt update
 sudo apt -yV upgrade

WSL2を再起動する。再起動後次のコマンドを実行する。このコマンドはapache2というWebサーバーソフトウェアをインストールしている。インターネット上で企業や官公庁の公式サイトで情報を入手したり、動画やSNSを利用したりする場合には、必ずWebサーバーソフトウェアのお世話になる。そのうち半数でApacheが稼働している。

sudo apt install apache2
 apache2 -v

***WSL2へのpyenv(python)のインストール [#m9448d25]
以下のコマンドはpythonを使用するために必要な機能をインストールしている。
 sudo apt install -y build-essential libffi-dev zlib1g-dev liblzma-dev libbz2-dev libreadline-dev libsqlite3-dev git net-tools libssl-dev

ここでWSL2(Ubuntu)を再起動。
次に以下のコマンドでpyenv本体のダウンロードとインストールをする。
 git clone https://github.com/pyenv/pyenv.git ~/.pyenv

次に、以下のコマンドで.bashrcの更新をする。
 echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
 echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
 echo 'eval "$(pyenv init -)"' >> ~/.bashrc
 source ~/.bashrc

WSL2(Ubuntu)を再起動。再起動後に次へ

以下のコマンドでpyenvがインストールできたかを確認（pyenvはLinuxにおいて、Pythonの実行環境を管理するツール。つまりいろんなバージョンのpythonを管理する有能）
 pyenv -v

以下のコマンドでpythonのインストール
 pyenv install 3.8.5 # 例えば，version 3.8.5
 pyenv versions # インストール済みのpyenvのバージョンを確認できる
 pyenv global 3.8.5

これにて、pythonのインストールは完了である。

python -m pip install pyocr matplotlib pydotplus pulp pandas scikit-learn graphviz opencv-python docopt
    apt install tesseract-ocr libtesseract-dev tesseract-ocr-jpn
    sudo apt-get dist-upgrade
    sudo apt-get install build-essential
    sudo apt-get update
    sudo apt-get install graphviz mecab libmecab-dev mecab-ipadic-utf8　
    git clone https://github.com/neologd/mecab-ipadic-neologd.git
    cd mecab-ipadic-neologd
    sudo bin/install-mecab-ipadic-neologd
    cd /etc
    sudo vim mecabrc
    ここで:set pasteをし，aを押し，以下にコピペで変更する
    dicdir = /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd
    :wq　で保存
    sudo apt install swig　python3-pip
    sudo pip3 install mecab-python3
    sudo apt install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
    cd
    git clone https://github.com/opencv/opencv.git
    git clone https://github.com/opencv/opencv_contrib.git
    cd ~/opencv
    mkdir build
    cd build
    cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_OPENGL=ON -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules -D OPENCV_GENERATE_PKGCONFIG=ON ..
    make -j7
    sudo make install

https://www.engineer-log.com/entry/2019/10/31/tesseract5-install

***WSL2内でのBlockly環境構築 [#v88fa7b7]
ダウンロードすべきファイルを以下のzipファイルにまとめたので、これをダウンロードし任意のフォルダに置く。~
#ref(20201118product.zip)
エクスプローラーのパスのところで、\\wsl$と入力しEnter。そしてまず、/var/www/html内に先ほどダウンロードしたhtmlの中身を、/usr/lib/cgi-bin内に
cgi-binの中身を入れる。htmlはサイトを構成するファイルが入っていて、cgi-binはpythonで動かすデータ処理の部分のファイルが入っている

次に、CSVファイル入れるところ作る。

cd
 mkdir kaiki
 sudo chmod 777 kaiki

入れるとき拒否られたら次のコマンドをubuntuで。chmodで読み込みや書き込みを他の人からでもできるようにしている。
 sudo chmod 777 /var/www/html
 sudo chmod 777 /usr/lib/cgi-bin
cgi-binなかったら次のコマンド。cgi-binディレクトリを作成している
 mkdir /usr/lib/cgi-bin

その後以下を実行。ファイルの権限を変えてる。755にするのは、この後のウェブ上のサイトから他のパソコンからでも使えるようにするため。（しかし書き込みはできない。これについて知りたかったらchmodについて調べて）
 sudo chmod 755 /usr/lib/cgi-bin
 sudo chmod 755 /usr/lib/cgi-bin/kaiki.cgi

python -m pip install pandas
 python -m pip install scikit-learn

以下のコマンドでエディタ開ける。
 sudo nano /usr/lib/cgi-bin/kaiki.cgi

上のコマンドで開いた後、以下の二つの部分のzetaというところを自分のUbuntuのユーザー名に変える
 #!/home/zeta/.pyenv/shims/python
 wine.to_csv('/home/zeta/kaiki/123456.csv', header=False, index=False)

「Ctrl+X」→「y」→「Enter」で保存する。

次のコマンドでＣＧＩモジュールを有効にできる。これはcgi-binに入っているファイルを実行するためのmodを有効にしている。
 sudo a2enmod cgid

タイムスタンプを変更しない