発想支援のビジュアル・プログラミング の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 発想支援のビジュアル・プログラミング へ行く。
  • 1 (2021-02-06 (土) 18:29:18)
  • 2 (2021-03-06 (土) 21:44:13)
  • 3 (2021-03-06 (土) 22:03:09)
  • 4 (2021-03-07 (日) 15:09:24)
  • 5 (2021-03-07 (日) 20:21:40)
  • 6 (2021-03-08 (月) 00:45:24)
  • 7 (2021-03-08 (月) 13:48:04)
  • 8 (2021-03-08 (月) 17:30:50)
  • 9 (2021-03-08 (月) 19:51:35)
  • 10 (2021-03-10 (水) 03:22:51)
  • 11 (2021-03-10 (水) 19:57:07)
  • 12 (2021-03-14 (日) 01:38:53)
  • 13 (2021-03-14 (日) 23:19:39)
  • 14 (2021-04-02 (金) 19:59:11)
  • 15 (2021-04-02 (金) 21:41:01)
  • 16 (2021-04-03 (土) 04:38:45)
  • 17 (2021-04-22 (木) 16:49:49)
  • 18 (2021-04-22 (木) 20:44:11)
  • 19 (2021-04-23 (金) 02:50:30)
  • 20 (2021-05-25 (火) 18:29:17)
  • 21 (2021-09-10 (金) 11:44:20)
  • 22 (2023-02-01 (水) 16:37:31)

技術資料

スクレイピングのBlockly化 

centOS7 サーバ(192.168.0.125)への接続 

コマンドプロンプトで以下を入力

"ssh root@192.168.0.125"

(初回ではその前に"yes"を入力)パスワードを入力してログイン
→[root@blockly ~]の表示になる

"# cd /var/www/html/cyber-space_analysis" で "cyber-space_analysis"ディレクトリへ移動

※　http://192.168.0.125/cyber-space_analysis/
→このリンクへ飛ぶとブロックリーの画面になる

"python ～～.py" でpythonも実行できる

スクレイピングファイルをサーバー内に送り込む 

scpコマンドを使う(ファイルが置いてあるディレクトリへ移動)
">scp [送るファイル名] root@192.168.0.125:[送るディレクトリ先] "

(例)"test.txt"を送りたいとき
→"test.txt"のディレクトリまで移動し scp test.txt root@192.168.0.125:/var/www/html/cyber-space_analysis

サーバー内でのスクレイピング検証テスト 

1)idea_graphディレクトリでTextmining.pyを実行し、エラーで足りないモジュールをpip install～で入れていく
※「No module named 'MeCab'」が出たときはmecab-python3を入れる(Mecabだと赤いエラーが大量発生する)

2)まだMecab本体が入っていないの入れていく 関連ライブラリのインストール
sudo yum install -y bzip2 bzip2-devel gcc gcc-c++ git make wget curl openssl-devel readline-devel zlib-devel patch file

作業フォルダを作成して移動
mkdir -p ~/source/mecab cd ~/source/mecab

ソースをダウンロードして解凍して移動
wget 'https://drive.google.com/ucexport=download&id=0B4y35FiV1wh7cENtOXlicTFaRUE' -O mecab-0.996.tar.gz
tar zxvf mecab-0.996.tar.gz
cd mecab-0.996

インストール先フォルダを作成
sudo mkdir -p /opt/mecab

configure(コンパイルのための設定)を実行し、コンパイルしてインストール
./configure --prefix=/opt/mecab --with-charset=utf8 --enable-utf8-only
make
sudo make install

インストールしたmecabの実行ファイル(のあるフォルダ)をパスに追加
bashの場合
echo "export PATH=/opt/mecab/bin:\$PATH" >> ~/.bashrc
source ~/.bashrc

※※この部分はたぶんやらなくてもOK※※ ipadic(標準辞書)のインストール

# 作業フォルダを作成して移動
mkdir ~/source/mecab-ipadic
cd ~/source/mecab-ipadic

# 辞書ファイルを取得して解凍して移動
wget 'https://drive.google.com/uc? export=download&id=0B4y35FiV1wh7MWVlSDBCSXZMTXM' -O mecab-ipadic-2.7.0-20070801.tar.gz
tar zxvf mecab-ipadic-2.7.0-20070801.tar.gz
cd mecab-ipadic-2.7.0-20070801

# 設定してmakeしてインストール
./configure --with-mecab-config=/opt/mecab/bin/mecab-config --with-charset=utf8
make
sudo make install ※※

scpでC:\Program Files\MeCabにあるdicを/opt/mecab/lib/mecabに送り込む
/opt/mecab/lib/mecab内にipadicがあったら、あらかじめ削除しておく
[root@localhost mecab]# rm -rf ipadic
↓送る側のコマンドプロンプト
C:\Program Files\MeCab>scp -r dic root@192.168.0.130:/opt/mecab/lib/mecab