沼田/研究 の履歴(No.8)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 沼田/研究 へ行く。
  • 1 (2019-04-23 (火) 16:56:04)
  • 2 (2019-04-23 (火) 17:03:50)
  • 3 (2019-08-31 (土) 19:03:13)
  • 4 (2019-09-16 (月) 18:42:56)
  • 5 (2019-10-18 (金) 06:36:28)
  • 6 (2019-10-23 (水) 14:31:33)
  • 7 (2019-10-23 (水) 23:06:12)
  • 8 (2019-10-27 (日) 06:09:18)
  • 9 (2019-10-30 (水) 05:24:10)
  • 10 (2019-12-06 (金) 04:22:08)
  • 11 (2019-12-26 (木) 18:26:46)
  • 12 (2019-12-28 (土) 04:05:51)
  • 13 (2020-01-06 (月) 05:46:09)
  • 14 (2020-01-07 (火) 06:11:10)
  • 15 (2020-01-08 (水) 02:00:07)
  • 16 (2020-01-08 (水) 07:58:21)
  • 17 (2020-01-08 (水) 11:09:06)
  • 18 (2020-01-20 (月) 15:17:27)
  • 19 (2020-01-24 (金) 17:11:34)
  • 20 (2020-01-29 (水) 09:51:35)
  • 21 (2020-02-05 (水) 18:41:43)
  • 22 (2020-02-11 (火) 15:00:47)
  • 23 (2020-02-12 (水) 05:59:43)
  • 24 (2020-02-16 (日) 08:50:45)
  • 25 (2020-02-19 (水) 16:44:17)
  • 26 (2020-02-19 (水) 19:03:06)
  • 27 (2020-07-16 (木) 03:43:53)
  • 28 (2020-08-12 (水) 16:57:32)
  • 29 (2020-09-03 (木) 13:14:19)
  • 30 (2020-09-09 (水) 19:51:51)
  • 31 (2020-09-10 (木) 16:46:44)
  • 32 (2020-09-11 (金) 05:25:58)
  • 33 (2020-09-16 (水) 18:41:05)
  • 34 (2020-09-29 (火) 12:56:57)
  • 35 (2020-10-05 (月) 21:06:17)
  • 36 (2020-10-06 (火) 20:47:08)
  • 37 (2020-10-07 (水) 23:52:06)
  • 38 (2020-11-27 (金) 18:01:02)
  • 39 (2020-12-17 (木) 23:45:09)
  • 40 (2020-12-18 (金) 04:43:47)
  • 41 (2021-01-11 (月) 03:12:58)
  • 42 (2021-01-12 (火) 05:13:59)
  • 43 (2021-01-14 (木) 02:35:14)
  • 44 (2021-01-21 (木) 16:46:04)
  • 45 (2021-05-07 (金) 04:23:06)
  • 46 (2021-05-12 (水) 12:07:20)
  • 47 (2021-05-21 (金) 07:42:53)
  • 48 (2021-05-25 (火) 06:57:56)
  • 49 (2021-07-30 (金) 21:40:02)
  • 50 (2021-08-17 (火) 20:52:15)
  • 51 (2021-10-05 (火) 22:13:37)
  • 52 (2021-10-05 (火) 22:14:33)
  • 53 (2021-11-18 (木) 14:22:50)
  • 54 (2022-01-06 (木) 16:52:33)
  • 55 (2022-01-26 (水) 08:20:09)
  • 56 (2022-01-26 (水) 16:15:59)
  • 57 (2022-01-31 (月) 08:51:43)
  • 58 (2022-02-01 (火) 01:04:13)

環境・生体データ駆動型行動認識のためのルールベース構築支援システム 

現在ライフログデータに対し自動でラベル付けをしてくれる行動パターン解析のシステムを研究していますが、ルールの構築の精度を高める仕組みを研究することです。ライフログデータを精度よく解析することで、行動パターンの類似性やイベント性を検出し、被験者自身が健康管理や生活の見直したり、被験者に対する効果的なマーケティングをするための匿名データとして活用することが考えられます。

• RasberryPiカメラ
  http://opencv.jp/opencv-2svn/cpp/highgui_reading_and_writing_images_and_video.html
  http://igarashi-systems.com/sample/translation/raspberry-pi/usage/python-camera.html
  https://iotdiyclub.net/raspberry-pi-camera-python-1/
  https://www.google.com/search?q=videocapture+picamera&oq=videocapture+picamera&aqs=chrome..69i57.20047j0j7&sourceid=chrome&ie=UTF-8
  https://qiita.com/mix_dvd/items/cc21304a44e425dafa10
  http://kivantium.hateblo.jp/entry/2015/02/24/204924
  http://asukiaaa.blogspot.com/2018/07/pythonopencvraspi.html
  

• computervision
  • Python入門者でもComputer Vision APIを叩くのは怖くない
    https://qiita.com/ftnext/items/970069ff509f69812f23
  • クイック スタート:Computer Vision の REST API と Python を使用してローカル画像を分析する
    https://docs.microsoft.com/ja-jp/azure/cognitive-services/Computer-vision/quickstarts/python-disk
• python
  • 文字削除(置換)　正規表現
    https://note.nkmk.me/python-str-replace-translate-re-sub/
  • ダブルクォーテーションの削除
    https://teratail.com/questions/119259
  • 配列のスライス
    https://qiita.com/kaeruair/items/e7f1c08915839ce3c9b4
  • リストへの要素の追加と別のリストとの結合
    https://www.javadrive.jp/python/list/index6.html

• word2vec
  
  • 全体の流れ
    タグ取得　ー＞　pos　->　verbのみing判定　->　必要に応じて語形変化　->　ベクトル化
    

• モデル
  英語版wikipedia自分でモデル作る方法->https://textminingonline.com/training-word2vec-model-on-english-wikipedia-by-gensim
  Wikipedia2Vec API->https://wikipedia2vec.github.io/wikipedia2vec/usage/#api-usage
  チュートリアル->https://rare-technologies.com/word2vec-tutorial/
  モデル集->
  https://github.com/Hironsan/awesome-embedding-models
  https://github.com/chakki-works/chakin
  https://stackoverflow.com/questions/45310409/using-a-word2vec-model-pre-trained-on-wikipedia
  word2vecコード例->https://github.com/panyang/Wikipedia_Word2vec/blob/master/v1/train_word2vec_model.py
  最新有能モデル->https://qiita.com/Hironsan/items/8f7d35f0a36e0f99752c
  自分が使う事前学習モデル（要引用）enwiki_upos_skipgram_300_5_2017
  pre-trained by wikipedia->http://vectors.nlpl.eu/explore/embeddings/en/models/
  

• ####
  NLTKの動詞判定がおかしい？ sittingでの判定 ->　VERB
  sitでの判定 ->　NOUN
  原形の動詞はなぜか名詞扱いに判定されてしまっている.
  動詞として判定したほうがいいと思うからsittingで最初にまずpos付け
  そのあとing判定させて、判定されたらlemmatizer.lemmatizeで原形に語形変化
  文字部分だけリスト変更
  
  注意2
  原形へ語形変化している場合は文字数は減るから関係ないが
  なにも設定せずnpを使って配列内の文字を変更する場合
  元の文字数の長さまでの変更しか受け付けられない（！切り捨てが発生！）
  文字列の文字数についての注意->https://note.nkmk.me/python-numpy-dtype-astype/
  

  ####
  
  

• NLTKによるPOSタグ付加
  NLTK簡単な使い方->https://www.haya-programming.com/entry/2018/03/21/234126
  ベクトル化するときに現在進行形を原形に戻さないといけないswimming->swim
  NLTK(形態素解析のPythonパッケージ)で原形に戻せる
  NLTKでPOSタグも付けられる
  モデル作成でエラーも起きてたし（モデル作成がうまくいかないから）NLTKでまとめて前処理させる
  
  
• NLTKに入れたリソース
  
  • POSタグ nltk.download('averaged_perceptron_tagger')
    
  • 原形化(語形変化) nltk.download('wordnet')
    参考->https://codeday.me/jp/qa/20190401/518184.html
    
  • 簡素化されたタグをユニバーサルタグに nltk.download('universal_tagset')
    ユニバーサルタグとは->https://universaldependencies.org/u/pos/all.html#universal-pos-tags
    簡素化されたPOSタグの治し方->https://stackoverflow.com/questions/5787673/python-nltk-how-to-tag-sentences-with-the-simplified-set-of-part-of-speech-tags
• リソースの入れ方
  

  python
  >>import nltk
  >>nltk.download(..)

• python forとwhile
  https://code-life.hatenablog.com/entry/2018/05/17/Python%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E7%B9%B0%E3%82%8A%E8%BF%94%E3%81%97%E5%87%A6%E7%90%86%EF%BC%88for%E3%81%A8while%EF%BC%89%E3%81%AE%E4%BD%BF%E7%94%A8%E4%BE%8B%E3%81%A8%E4%BD%BF%E3%81%84
  
• python if文応用or and not演算子
  https://www.sejuku.net/blog/20674#Pythonif_and
  
• python リスト
  Numpyでは添え字にタプルが渡せる->https://qiita.com/toda_tech/items/f9caa8621ca0c1fa3f98
  右の0が01で行列どちらか～in range(data.shape[0]):->https://teratail.com/questions/121071
  
• 正規表現
  完全・部分・前方、後方一致etc->https://note.nkmk.me/python-str-compare/
  

情報推薦 

ToDo

・教材タイプ（動画、本、サイト）を決める => 自由
・上をクロール・スクレイピングするシステムを作る
・なんのコンテンツか聞く？（大学受験・資格）=>自由
・ルールベース（数理分析）か協調フィルタリングかを相談

目的

書いた歌詞からの自動作曲

やりかた

既存楽曲の歌詞とメロディーの収集 歌詞の感情分析をしたものと、メロディーの 関係を機械学習？ニューラルネットワーク? させる 歌詞を書く、歌詞を感情分析してこれまでの データから歌詞に対しメロディーを提案する

感性工学について（感情） 感情分析に基づいてメロディーを作成すること でさらに入り込めるみたいなｋと

環境・生体データ駆動型 行動認識のための ルールベース構築支援システム

私が 生活の見　 生活習慣 カメラや物理センサー　 生体センサー テスト訓練消す 個人のプライバシーに配慮できる 段落わけ　5行ごとくらい

リンク 

• 協調性フィルタリング論文
  • https://www.jstage.jst.go.jp/article/tjsai/30/1/30_30_102/_pdf/-char/ja
  • http://db-event.jpn.org/deim2018/data/papers/27.pdf
  • https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=151306&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8
• 推薦システム
  • http://ibisml.org/archive/ibis2014/IBIS2014tutorial_iwata_color.pdf
  • https://www.slideshare.net/masayuki1986/recommendation-ml
  • https://fukutake.iii.u-tokyo.ac.jp/archives/beat/seminar/034.html
  • https://takuti.me/note/two-decades-of-amazon-recommender/