沼田/研究の履歴(No.52)

blocklyを使ったビジュアルプログラミング
環境・生体データ駆動型行動認識のためのルールベース構築支援システム
情報推薦
- リンク

blocklyを使ったビジュアルプログラミング

デスマ:予算や人員、期間、休み、モチベーションなどが明らかに不足していて、みんなが涙目になっているシステム開発のお仕事のこと
githubソース検索https://sourcegraph.com/search
blockly-りとんばいjsバージョン\\https://github.com/BlocklyDuino/BlocklyDuino/tree/gh-pages/blockly/blocks\\
https://github.com/EinsteinsWorkshop/BlocksCAD/tree/development/blockly/generators/javascript
https://tool-zukan.com/column/3752/
http://aoki2.si.gunma-u.ac.jp/Python/index.html
https://ai-trend.jp/programming/python/pandas-index-columns/

python の　EXE化
pyinstaller printer.py --onefile

Win キーを押して cmd を入力し、Ctrl + Shift キーを押しつつ Enter すると、管理者権限でコマンドプロンプトを起動できます。
http://dic515mas.pu-toyama.ac.jp/IIE/DIC_pages/DIC_index.html
向こうのゲームの横のパソコン
ssh root@192.168.0.130
pas: tpu
※片方しかping通ってなかったらhttps://milestone-of-se.nesuke.com/troubleshoot/one-end-ping-ok-another-ng/
を参照
以上でログインできる．

自分のパソコンにサーバーからデータを落とす方法
ログインしない状態で以下scpをうち，求められるパスを打つとデータはいる
scp -r root@192.168.0.130:/var/www 「フォルダ名」

解説:scpデータ移動コマンド -r指定でフォルダまるごと送信
　　「接続先usr名」@「接続先ip」:「ほしいデータがある場所」　「入れるフォルダ名」
入れるフォルダ名のフォルダがなかったら新規作成される

最強
シークレットタブの更新右クリックでキャッシュ削除更新できる
https://google.github.io/blockly-samples/index.html
右にリアルタイム変更表示　レスポンシブhttps://embed.plnkr.co/XIeR0L/
リサーチhttp://web.engr.oregonstate.edu/~burnett/vpl.html
paiza　web上で結果を見る　実行結果
https://paiza.io/projects/Yjh0PoXJofHYvM1yJjoBSg?locale=ja-jp
blockly以外のビジュアルプログラミング言語
- Scratch (スクラッチ), MOONBlock (ムーンブロック), VISCUIT (ビスケット)
blocklyを使ってみた例
- Blockly ブロックリーゲームズの次はプログラムを作ってみよう
  http://ict.puziro.com/2017/11/17/blockly-games-next-1/
Scratch
https://ja.scratch-wiki.info/wiki/Scratch_3.0
https://scratch.mit.edu/projects/editor/?tutorial=getStarted
- Scratchでcsvをリストで読み込む方法
  https://studio.beatnix.co.jp/kids-it/kids-programming/scratch/scratch-text2list/
  https://www.youtube.com/watch?v=kgPgMXge2OM
  https://ja.scratch-wiki.info/wiki/%E3%83%AA%E3%82%B9%E3%83%88
- Scratchのハック
  https://qiita.com/kyorohiro/items/19b56cedc3301d9e4aad
  https://qiita.com/kyorohiro/items/19c1193d5c9d4708529b
  http://blogger.firefirestyle.net/2017/09/scratch30-0.html
  https://github.com/LLK/scratch-gui
processingを使ったビジュアルプログラミング
http://niisi.hatenablog.jp/entry/2018/05/15/Processing%E3%81%A7%E3%83%93%E3%82%B8%E3%83%A5%E3%82%A2%E3%83%AB%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E8%A8%80%E8%AA%9E%E3%82%92%E8%87%AA%E4%BD%9C%E3%81%99%E3%82%8Bpart1
マゼランブロック
https://www.projectdesign.jp/201708/hukuoka/003856.php
https://www.magellanic-clouds.com/blocks/guide/blocks/
alteryx
https://newssdx.kcme.jp/alteryx_what_is_alteryx/
html
div100% http://game-play.site/?p=79
- bootstrap
  ボタンhttp://www.tohoho-web.com/bootstrap/buttons.html
  fluid横いっぱい　https://tech.speee.jp/entry/2764
blcokly
https://developers.google.com/blockly/guides/overview
https://developers.google.com/blockly/guides/configure/web/code-generators
https://developers.google.com/blockly/guides/configure/web/toolbox
https://developers.google.com/blockly/guides/configure/web/cloud-storage?hl=ja#example
https://developers.google.com/blockly/guides/create-custom-blocks/generating-code
http://blockly.xmit.org/apps/index.html
https://blockly-demo.appspot.com/static/demos/index.html?lang=ja

python to javascript
https://teratail.com/questions/216045
python
- 型関連
  https://note.nkmk.me/python-urllib-parse-query-string/
- Pythonのパッケージ（ライブラリ）のバージョンを確認
  https://note.nkmk.me/python-package-version/
- server
  https://gist.github.com/mdonkers/63e115cc0c79b4f6b8b3a6b797e485c7
  https://developer.yukimonkey.com/article/20200227/
  - cgi
    https://blog.k3n.link/entry/jquery-python-cgi-ajax-json
  - (使わない＞)cgiがpyのバージョｎ
    https://sig9.hatenablog.com/entry/2020/01/29/000000
- Flask
  https://qiita.com/S_SenSq/items/3b5ddf44b691c26336b1
jQuery
https://uxmilk.jp/10065
https://www.sejuku.net/blog/42985
CentOSにローカルからプログラムソースを送る方法
https://www.server-world.info/query?os=CentOS_7&p=ssh&f=2
WSL2
- 環境構築　インストールとか
  - wslとubuntsuのいれかた
    https://qiita.com/sakkuntyo/items/03742bad0f57a4f46b07
  - ERORRRRRRRR
    pythonのインタプリタを書き換える（pythonのバイナリファイル（コマンド）の場所をしっかり書く）
    改行コードの確認　CRLFでなくLFにする　変更の仕方はVSCODEであればコマンドパレットctl+Pを開き，>Toggle Status Bar Visibilityで下部にステータスバーを表示させ，LFを選択し保存する
    chmodeは755!!!!!!
    \\wsl$\Ubuntu-20.04\var\log\apach2/error.logから確認
  - ERRRRR22222
    もし，500 internal server errorが発生したら，改行コードを治すか，sites-packageが指定されていないから(読み込めているようで読み込めていないことがあった)
    下記のURLよりubuntus内にpyenvをインストールする．(pyenvとは，Pythonの複数のバージョンを使い分けるコマンドラインツール)
    https://note.com/mokuichi/n/n627eb6773aad
    その後，バージョンの切り替え後に，ウブンツのコマンドラインを再起動し，新しくpython -m pip install pandasのようにモジュールをいれる
    もしも，それでうまく行かなかった場合，エキスプローラーで直接サイトパッケージをコピペする，
    参考に自分の場合のディレクトリは，もともとubuntuにはいっているpythonは\\wsl$\Ubuntu-20.04\home\rtheta\.local\lib\python3.8\site-packagesにある
    そして，pyenvのサイトパッケージのディレクトリは，\\wsl$\Ubuntu-20.04\home\rtheta\.pyenv\versions\3.8.5\lib\python3.8\site-packages
    にそれぞれあり，pyenvのほうに必要なモジュールをコピペで移動することで実行できるはずである．
  - apatchの起動停止再起動
    https://kaworu.jpn.org/ubuntu/%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%81%A7Apache%E3%81%AEhttpd%E3%82%92%E8%B5%B7%E5%8B%95%E3%81%A8%E5%81%9C%E6%AD%A2%E3%81%A8%E5%86%8D%E8%B5%B7%E5%8B%95%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95
  - pythonとpipの入れ方(もしかしたらupgradeしたらはいったかも)はいるのはpython3
    https://www.codeflow.site/ja/article/how-to-install-python-3-and-set-up-a-local-programming-environment-on-ubuntu-18-04
  - pip3 install scikit-learn
  - pip3 install pandas
  - cgiフォルダにアクセスするためのchmod
    http://www.fulldigit.net/content/view/43/6
  - cgi有効化　sudo a2enmod cgid
    https://linuxserver.hatenadiary.jp/entry/2013/10/17/234546
  - 拡張子python関連付け
    https://pg.kdtk.net/1336
- portforwarding(windows ubuntuのサーバーに外部からアクセスする方法)
  https://qiita.com/yabeenico/items/15532c703974dc40a7f5
  https://tombomemo.com/wsl2-install-settings/#toc8
- ブラウザCSVダウンロード
  https://memo.appri.me/programming/file-download-by-js
  https://qiita.com/megadreams14/items/b4521308d5be65f0c544
CGI
- 決定木分析するCGIに必要なもの
  pip install pydotplus
  sudo apt-get dist-upgrade
  sudo apt-get update
  sudo apt-get install build-essential
  sudo apt-get install graphviz

ファイル読み込み文字化け回避fileReader()
https://developer.mozilla.org/ja/docs/Web/API/FileReader
https://techacademy.jp/magazine/20723
http://libro.tuyano.com/index3?id=384001&page=2
https://www.e-loop.jp/knowledges/35/#JavaScript%E4%B8%8A%E3%81%A7%E3%81%AE%E6%93%8D%E4%BD%9C
http://maedakobe.rw.xsi.jp/javascript/drag_drop.html
http://catprogram.hatenablog.com/entry/2015/04/23/171157

環境・生体データ駆動型行動認識のためのルールベース構築支援システム

現在ライフログデータに対し自動でラベル付けをしてくれる行動パターン解析のシステムを研究していますが、ルールの構築の精度を高める仕組みを研究することです。
ライフログデータを精度よく解析することで、行動パターンの類似性やイベント性を検出し、被験者自身が健康管理や生活の見直したり、
被験者に対する効果的なマーケティングをするための匿名データとして活用することが考えられます。

クラウド送信
- ラズパイ-GAS-Spreadsheet
  
  GASへラズパイからPOST https://qiita.com/shirakiya/items/db22de49f00710478cfc
  
  JSON扱い　https://miningoo.com/998/　
  
  GASの制限　https://cartman0.hatenablog.com/entry/2017/12/17/Google_Apps_Script%E3%81%AE%E7%84%A1%E6%96%99%E5%88%B6%E9%99%90%E3%83%A1%E3%83%A2#%E5%AE%9F%E8%A1%8C%E6%99%82%E9%96%93%E3%81%AE%E7%A2%BA%E8%AA%8D
  
  GASリクエストパラメータ　https://developers.google.com/apps-script/guides/web
  
  Requestsモジュール https://qiita.com/hththt/items/14bfc2bf23192b020371
  
  　　　　　　　　　　https://note.nkmk.me/python-requests-web-api/
  
  Pythonでのget,post https://qiita.com/Thiru0000/items/9259c3940ed91285c066
- 受信
  読み込み制限＿https://www.cdatablog.jp/entry/2019/04/16/191006
  
  ＿https://console.developers.google.com/apis/api/sheets.googleapis.com/quotas?folder=&organizationId=&project=test-spreadsheet-263307&duration=PT1H
  
  https://qiita.com/negito6/items/c64a7a8589faaffcfdcf
  
  https://qiita.com/sebisawa/items/4faa6d859f480e306f46
  
  https://www.fastclassinfo.com/entry/python_data_syukei#Python%E3%81%A7Google%E3%82%B9%E3%83%97%E3%83%AC%E3%83%83%E3%83%89%E3%82%B7%E3%83%BC%E3%83%88%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E9%9B%86%E8%A8%88%E3%81%97%E6%9B%B8%E3%81%8D%E5%87%BA%E3%81%99%E3%82%B3%E3%83%BC%E3%83%89
  
  https://yottagin.com/?p=5963
  
  https://gspread.readthedocs.io/en/latest/user-guide.html#getting-all-values-from-a-row-or-a-column
  
  https://tanuhack.com/library-gspread/#i-11
  
  https://tanuhack.com/operate-spreadsheet/#i
spredsheet-mypc
- csvファイルの有無
  
  https://www.headboost.jp/python-file-existance/
- csv newline
  
  https://tonari-it.com/python-csv-writer-writerow/
- csv read write
  
  https://note.nkmk.me/python-csv-reader-writer/
  
  https://www.sejuku.net/blog/23514
  
  https://qiita.com/gangun/items/4cf0eb8a75c25750d058
  
  https://note.nkmk.me/python-csv-reader-writer/
  
  http://peaceandhilightandpython.hatenablog.com/entry/2013/12/04/093359
  
  csv r,w,aについて
  http://memopy.hatenadiary.jp/entry/2017/06/05/210506
- csv treat
  
  https://basicincome30.com/python-csv-read
- pandas size
  
  https://note.nkmk.me/python-pandas-len-shape-size/
- csv wrietrとcsv writers
  
  https://note.nkmk.me/python-csv-reader-writer/
- わかりやすい内法表記(2重、ネスト)
- numpy dtype=object
  
  https://note.nkmk.me/python-numpy-dtype-astype/
  
  https://qiita.com/y__sama/items/a2c458de97c4aa5a98e7
- :使い方
  
  https://qiita.com/supersaiakujin/items/d63c73bb7b5aac43898a#numpy-array%E3%82%92%E7%B5%90%E5%90%88%E3%81%99%E3%82%8B
- 配列の結合oncatenate
  
  https://qiita.com/Umaremin/items/22de1ca413176e4a19a6
- 配列の結合np.column_stack
  
  https://tutorialmore.com/questions-346848.htm
  
  https://qiita.com/gragragrao/items/1881accf27bbedc5fa84
デンドログラム(scipy)

https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.cluster.hierarchy.dendrogram.html

http://yshampei.hatenablog.com/entry/2017/11/18/191756
- ウォード法*ユークリッドとは
  
  https://qiita.com/sho-matsuo/items/cd7f2b66e572bf60048b
- csv読み込みshift-jis
  
  https://to-kei.net/python/data-analysis/pandas-read_csv/
- csv読み込み操作一覧
  
  https://qiita.com/okadate/items/7b9620a5e64b4e906c42
- ラベル文字化け、フォントの設定font family
  
  https://qiita.com/yniji/items/3fac25c2ffa316990d0c
  
  https://matplotlib.org/gallery/api/font_family_rc_sgskip.html
- ファイルをunicodeで読み込むためにcodecsでとる
  
  https://qiita.com/sosuke/items/5c35973f3b087e1b54e4
- pandas loc iloc行列取得
  
  https://pythondatascience.plavox.info/pandas/%E8%A1%8C%E3%83%BB%E5%88%97%E3%81%AE%E6%8A%BD%E5%87%BA
- ラベルの同期pandas.merge_asof
  
  https://teratail.com/questions/127127
  
  https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.merge_asof.html
  
  https://www.code-adviser.com/detail_42353481
  
  https://stackoverflow.com/questions/49039153/pandas-merge-asof-keys-must-be-sorted-error-after-sorting
- pandas datetimeをフォーマット指定で読み込み
  
  https://note.nkmk.me/python-pandas-datetime-timestamp/
  
  https://python.civic-apps.com/timedelta/
truncate_modeで上位クラスタのみ表示(不使用)

https://analytics-note.xyz/machine-learning/dendrogram-truncate/
- グラフラベル色付け
  
  https://python-graph-gallery.com/402-color-dendrogram-labels/
  
  https://matplotlib.org/api/axis_api.html
  
  https://stackoverflow.com/questions/14802048/scipy-dendrogram-leaf-label-colours
- グラフ表示領域
  
  http://python-remrin.hatenadiary.jp/entry/2017/05/27/114816
- グラフ表示
- plt.show()では、そこでブロッキングされてプログラムが先に進まなくなる
  
  https://qiita.com/hausen6/items/b1b54f7325745ae43e47
- plot.pouseを用いて表示

Rを使った場合のデンドログラム
- https://rpubs.com/nishikosh/hca
  
  https://www.karada-good.net/analyticsr/r-625

socket

connect閉じたのと同じソケットで呼び出しています。それはできません。

https://stackoverflow.com/questions/15958026/getting-errno-9-bad-file-descriptor-in-python-socket

https://qiita.com/jackee777/items/16fc984c52a08bcdd929

computervision
- Python入門者でもComputer Vision APIを叩くのは怖くない
  
  https://qiita.com/ftnext/items/970069ff509f69812f23
- クイックスタート:Computer Vision の REST API と Python を使用してローカル画像を分析する
  
  https://docs.microsoft.com/ja-jp/azure/cognitive-services/Computer-vision/quickstarts/python-disk
python
- 文字削除(置換)　正規表現
  
  https://note.nkmk.me/python-str-replace-translate-re-sub/
- ダブルクォーテーションの削除
  
  https://teratail.com/questions/119259
- 配列のスライス
  
  https://qiita.com/kaeruair/items/e7f1c08915839ce3c9b4
- リストへの要素の追加と別のリストとの結合
  
  https://www.javadrive.jp/python/list/index6.html

word2vec
- 全体の流れ
  
  タグ取得　ー＞　pos　->　verbのみing判定　->　必要に応じて語形変化　->　ベクトル化
  
  python openはcsvモジュールの一部(標準ライブラリらしいからインストール不要)

モデル

英語版wikipedia自分でモデル作る方法->https://textminingonline.com/training-word2vec-model-on-english-wikipedia-by-gensim

Wikipedia2Vec API->https://wikipedia2vec.github.io/wikipedia2vec/usage/#api-usage

チュートリアル->https://rare-technologies.com/word2vec-tutorial/

モデル集->

https://github.com/Hironsan/awesome-embedding-models

https://github.com/chakki-works/chakin

https://stackoverflow.com/questions/45310409/using-a-word2vec-model-pre-trained-on-wikipedia

word2vecコード例->https://github.com/panyang/Wikipedia_Word2vec/blob/master/v1/train_word2vec_model.py

最新有能モデル->https://qiita.com/Hironsan/items/8f7d35f0a36e0f99752c

自分が使う事前学習モデル（要引用）enwiki_upos_skipgram_300_5_2017

pre-trained by wikipedia->http://vectors.nlpl.eu/explore/embeddings/en/models/

####

NLTKの動詞判定がおかしい？
sittingでの判定 ->　VERB

sitでの判定 ->　NOUN

原形の動詞はなぜか名詞扱いに判定されてしまっている.

動詞として判定したほうがいいと思うからsittingで最初にまずpos付け

そのあとing判定させて、判定されたらlemmatizer.lemmatizeで原形に語形変化

文字部分だけリスト変更

注意2

原形へ語形変化している場合は文字数は減るから関係ないが

なにも設定せずnpを使って配列内の文字を変更する場合

元の文字数の長さまでの変更しか受け付けられない（！切り捨てが発生！）

文字列の文字数についての注意->https://note.nkmk.me/python-numpy-dtype-astype/

####
NLTKによるPOSタグ付加

NLTK簡単な使い方->https://www.haya-programming.com/entry/2018/03/21/234126

ベクトル化するときに現在進行形を原形に戻さないといけないswimming->swim

NLTK(形態素解析のPythonパッケージ)で原形に戻せる

NLTKでPOSタグも付けられる

モデル作成でエラーも起きてたし（モデル作成がうまくいかないから）NLTKでまとめて前処理させる
NLTKに入れたリソース
- POSタグ nltk.download('averaged_perceptron_tagger')
- 原形化(語形変化) nltk.download('wordnet')
  
  参考->https://codeday.me/jp/qa/20190401/518184.html
- 簡素化されたタグをユニバーサルタグに nltk.download('universal_tagset')
  
  ユニバーサルタグとは->https://universaldependencies.org/u/pos/all.html#universal-pos-tags
  
  簡素化されたPOSタグの治し方->https://stackoverflow.com/questions/5787673/python-nltk-how-to-tag-sentences-with-the-simplified-set-of-part-of-speech-tags

リソースの入れ方

python
>>import nltk
>>nltk.download(..)

python forとwhile

https://code-life.hatenablog.com/entry/2018/05/17/Python%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E7%B9%B0%E3%82%8A%E8%BF%94%E3%81%97%E5%87%A6%E7%90%86%EF%BC%88for%E3%81%A8while%EF%BC%89%E3%81%AE%E4%BD%BF%E7%94%A8%E4%BE%8B%E3%81%A8%E4%BD%BF%E3%81%84
python if文応用or and not演算子

https://www.sejuku.net/blog/20674#Pythonif_and
python リスト

Numpyでは添え字にタプルが渡せる->https://qiita.com/toda_tech/items/f9caa8621ca0c1fa3f98

右の0が01で行列どちらか～in range(data.shape[0]):->https://teratail.com/questions/121071
正規表現

完全・部分・前方、後方一致etc->https://note.nkmk.me/python-str-compare/
音声認識
https://qiita.com/daiarg/items/ff1b9f91d0804e6a8f18

wiki_lab.php?plugin=attach&pcmd=open&file=https___qiita-image-store.s3.amazonaws.com_0_119826_d55114dc-3ed2-8234-ef01-4be375056349.png&refer=%E6%B2%BC%E7%94%B0%2F%E7%A0%94%E7%A9%B6

情報推薦

タイトル	教学データからのモチベーション向上のための情報推薦機構
要旨	情報数理工学と教育工学を融合した基盤研究にもとづいて，入学試験，受講科目，成績評価，課外活動，進路などの教学データから学生をクラスタリングし，モチベーション向上のための対話型の学習コンテンツ推薦の基盤技術を開発する
Keyword	教学データ，入試，履修，成績，学外活動，進路
手順	1）学生の入試，科目等の成績，課外活動，進路の情報の提供を受け，属性や履歴による分類，類型化を行い，希望する進路に繋がる受講科目や成績のキャリアパスを明示する．
	2）学生のモチベーションや成績を向上させるため，キーワードに応じた学習コンテンツをWeb上から収集し整理して提示するe-Learningシステムを構築する．
	3）コンテンツに対する学生からの評価を反映し自動で情報推薦を組み直し評価を改善させる．
リンク
リンク
挑戦

ToDo

・教材タイプ（動画、本、サイト）を決める => 自由

・上をクロール・スクレイピングするシステムを作る

・なんのコンテンツか聞く？（大学受験・資格）=>自由

・ルールベース（数理分析）か協調フィルタリングかを相談

目的

書いた歌詞からの自動作曲

やりかた

既存楽曲の歌詞とメロディーの収集
歌詞の感情分析をしたものと、メロディーの
関係を機械学習？ニューラルネットワーク?
させる
歌詞を書く、歌詞を感情分析してこれまでの
データから歌詞に対しメロディーを提案する

感性工学について（感情）
感情分析に基づいてメロディーを作成すること
でさらに入り込めるみたいなｋと

環境・生体データ駆動型行動認識のための
ルールベース構築支援システム

私が
生活の見　
生活習慣カメラや物理センサー　
生体センサーテスト訓練消す
個人のプライバシーに配慮できる段落わけ　5行ごとくらい

リンク

synology 192.168.11.22

沼田/研究 の履歴(No.52)

blocklyを使ったビジュアルプログラミング

環境・生体データ駆動型行動認識のためのルールベース構築支援システム

情報推薦

リンク