![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2022-03-02T02:57:01+00:00","","") #author("2022-03-03T10:28:29+00:00","","") [[FrontPage]] #ref(スライド.zip,,まとめ) #ref(slide_ando.pdf,,卒論発表スライド) #ref(tpu-abst2.pdf,,卒論概要) #ref(thesis01.pdf,,卒論(21)) #ref(slide_Numata.tex,,レネ先生tex) 技術資料書く #ref(sample3.py,,sample3) #ref(facedetect.py,,facedetect) #ref(mosaic.py,,モザイク) #ref(tex.zip,,tex) **B3後期 [#w8344977] |>|>|>|>|>|CENTER:COLOR(white):BGCOLOR(blue):|c ||&size(13){月曜日};|&size(13){火曜日};|&size(13){水曜日};|&size(13){木曜日};|&size(13){金曜日};| |BGCOLOR(#5c5c5c):COLOR(white):|>|>|>|>|COLOR(white):BGCOLOR(white):CENTER:60|c |BGCOLOR(#999999):COLOR(white):|>|>|>|>|COLOR(white):BGCOLOR(white):CENTER:60|c |CENTER:&size(20){1-2};|BGCOLOR(#00ffcc):&size(10){データ処理工学};||||| |CENTER:&size(20){3-4};|BGCOLOR(#00ffcc):&size(10){大規模通信システム工学};|BGCOLOR(#00ffcc):&size(10){英語特別演習４};|||| |CENTER:&size(20){5-6};|BGCOLOR(#00ffcc):&size(10){電子情報工学特別講義};|BGCOLOR(#00ffcc):&size(10){実験};||BGCOLOR(#00ffcc):&size(10){専門ゼミ};|| |CENTER:&size(20){7-8};||~|BGCOLOR(#00ffcc):&size(10){ユビキタス通信工学};||| |CENTER:&size(20){9-10};|BGCOLOR(#00ffcc):&size(10){技術者倫理};|~|||| |CENTER:&size(20){11-12};|||||| ~ **B4前期 [#kf6624f2] |>|>|>|>|>|CENTER:COLOR(white):BGCOLOR(blue):|c ||&size(13){月曜日};|&size(13){火曜日};|&size(13){水曜日};|&size(13){木曜日};|&size(13){金曜日};| |BGCOLOR(#5c5c5c):COLOR(white):|>|>|>|>|COLOR(white):BGCOLOR(white):CENTER:60|c |BGCOLOR(#999999):COLOR(white):|>|>|>|>|COLOR(white):BGCOLOR(white):CENTER:60|c |CENTER:&size(20){1-2};|||||| |CENTER:&size(20){3-4};|||||| |CENTER:&size(20){5-6};|||||BGCOLOR(#ff0c0c):&size(10){研究会};| |CENTER:&size(20){7-8};|||||BGCOLOR(#ff0c0c):&size(10){研究会};| |CENTER:&size(20){9-10};|||||| |CENTER:&size(20){11-12};|||||| **[[安藤の研究会]] [#x156ce8d] **[[安藤の卒業研究]] [#f6691d09] **[[卒論ゼミ>卒論ゼミ/安藤]] [#x57cfd36] **[[メモ>メモ/安藤]] [#x57cfd36] **[[中間発表>中間発表/安藤]] [#x57cfd36] **[[卒論>卒論/安藤]] [#x57cfd36] #memo(apache submarine\npytorch tensorflow\n\nhttps://translate.google.com/translate?depth=1&hl=ja&prev=search&pto=aue&rurl=translate.google.com&sl=en&sp=nmt4&u=https://github.com/apache/submarine/blob/master/docs/userdocs/yarn/YARNRuntimeGuide.md\nslave2~4 と master2\n\n\nCentOS7 Wi-Fiドライバ ｶｰﾈﾙｱﾌﾟﾃﾞ不要？\nhttps://papairoiro.blogspot.com/2018/09/centos75nuc5ppyhwifi.html?m=1\n\nBigDL ディープラーニング+spark\nhttps://github.com/intel-analytics/BigDL-Tutorials\n\nCentOS7へsparkをインストール\nhttps://qiita.com/sugimount/items/8f44808409d1518b8424\n\nむこう ５６７９\n\nDELLPC有線で繋げない→DNSも固定する １９２．１６８．０．１\n\npython make install まで\n\nhttps://mgubaidullin.github.io/deeplearning4j-docs/ja/quickstart\n\ndl4jインスト\nhttps://qiita.com/tamura__246/items/3893ec292284c7128069\n\n3/2 wikiに書くこと\nhttps://ishiis.net/2017/03/12/intel-bigdl-install/\nでbigdlのビルド,mevan,spark(3.0.2)のインストール\nhttps://bigdl-project.github.io/master/#ScalaUserGuide/run/\nでsparkとbigdlの環境変数設定,シェルを起動\n\n3/11\ncat /proc/cpuinfo | grep processorでコア数確認\nhttps://bigdl-project.github.io/master/#ScalaUserGuide/run/のビルド済みのライブラリであるBIGDLを使う。リリースページから、自分のsparkのバージョンにあったBIGDLをDLする。\n\nsparkプログラムとして実行でメモリが足りてないエラー\n→VMのメモリを設定から増やす\n\nsparkインストールurl\nhttp://ftp.riken.jp/net/apache/spark/spark-3.0.2/spark-3.0.2-bin-hadoop2.7.tgz\n\nmaster1 sparkshellまで\n\nvggサンプルlocal\n$SPARK_HOME/bin/spark-submit --master local[1] --class com.intel.analytics.bigdl.models.vgg.Train \\n$BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \\n-f $HOME/cifar10 \\n-b 4\n\nvggサンプルスタンドアロンクラスタ\n$SPARK_HOME/bin/spark-submit --master spark://slave80:7077 --executor-cores 2 --total-executor-cores 2 --class com.intel.analytics.bigdl.models.vgg.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f $HOME/cifar10 -b 4\n\n？？？？？？？？？？？？？？？？？？\n$SPARK_HOME/bin/spark-submit --master spark://slave80:7077 --executor-cores 2 --total-executor-cores 2 --class com.intel.analytics.bigdl.models.vgg.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f $HOME/cifar10 -b 4\n\nmnistサンプルlocal train\n $SPARK_HOME/bin/spark-submit --master local[1] --driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar --class com.intel.analytics.bigdl.models.lenet.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f ./mnist -b 1 --checkpoint ./model\n\n) #memo(mnistサンプルlocal test \n\n$SPARK_HOME/bin/spark-submit \--master local[1] \--class com.intel.analytics.bigdl.models.lenet.Test \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \--model ./model/20210405_163107/model.900001 \-b 1\n\n\nmnistサンプルstandarone train\n$ $SPARK_HOME/bin/spark-submit --master spark://master1:7077 \--executor-cores 1 \--total-executor-cores 2 \--driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \--class com.intel.analytics.bigdl.models.lenet.Train \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \-b 12 \--checkpoint ./model\n\n一般物体検出YOLOの分散深層学習による性能評価\nhttps://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=191420&item_no=1&page_id=13&block_id=8\n\nDarknet53を用いたImageNetによる一般物体認識とYOLOv3を用いた物体検出の分散深層学習\nhttps://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=194795&item_no=1&page_id=13&block_id=8\n\nsparkエラー↓\nWARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources\n対処法\nhttps://translate.google.com/translate?hl=ja&sl=en&u=https://kb.databricks.com/clusters/spark-job-not-starting.html&prev=search&pto=aue\n\nやること\nhadoopのcore-site.xmlとhdfs-site.xmlを参照してsparkは動く。hadoopモンテカルロ法の時設定した上二つ+(yarnも設定,mapredファイルは無し)のファイルを変更しないとstandaroneクラスタ上でBIGDLのサンプルやsparkshellドキュメンテーションの例は動かない。設定ファイルの見直し（いまは<configuration></configuration>以外何も書いてない、でも動く）、他PCのsparkBIGDL環境構築\n\nslave4,80 master 8 でlenettrain\n $SPARK_HOME/bin/spark-submit --master spark://slave8:7077 \--executor-cores 1 \--total-executor-cores 2 \--driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \--class\ncom.intel.analytics.bigdl.models.lenet.Train \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \-b 4 \--checkpoint ./model\n) #memo(並列GPUでBEAT マルチGPU（PC1台） pytorch\nhttps://qiita.com/m__k/items/87b3b1da15f35321ecf5\n\n×並列GPUでcifar10-cnn（クラウドサービスTensorflow-gpu＆Keras\nhttps://developers.wonderpla.net/entry/2018/01/09/110000\n\ntorch.nn.DataParallel→１つのマシンで複数のGPU並列\n\n\nやること\n1.データベース作成2つ\n2.多目的最適化の定式化を書く、変数を当てはめる\n3.多目的PSOの例題を解く\n4.多目的PSOを山本さんの制約付きに改良する\n5.並列分散\n\n16日までにデータベース\n20日までに多目的最適化PSOの定式化\n24日までに3の数値実験まで\n\n\nWeb情報を活用した自動献立作成における制約条件を考慮した多目的粒子群最適化の並列分散処理\n\n\n11/8\nデータベースの数値を多目的最適化にセットする\n多目的最適化をMOPSOで解く\n11/15\n並列処理\nパレート会から対話型で解を出す\n11/22\n\n11/29\nプロトtypeの完成\n12月本論書く、システムの最終版\n\n12月以降検証評価 システムで建てた献立の栄養素の評価、一週間分の評価、写真撮ってもらう、同じ人で使ってる人と使ってない人で比較する\n\n1月本論の赤ペン\n\n1 はじめに\n\n1.1 本研究の背景\n1.2 本研究の目的\n1.3 本論文の概要\n\n2 自動献立作成の概要\n\n2.1 自動献立作成支援システムの概要\n2.2 Web上のレシピデータを活用\n2.3 多目的最適化による自動献立作成\n\n3 制約条件を考慮できる多目的PSO\n\n3.1 粒子群最適化による解法\n3.2 並列分散処理による解法\n\n4 提案手法\n\n5 数値実験並びに考察\n\n5.1 実験概要および結果\n5.2 考察\n\n6 おわりに\n\n\npyswarm ×\npyGMO 〇\npymoo ×？\n\nレシピにおける食材名と食材データベースでの食材名が微妙に違う場合→文字列の類似度を出して決める（pythonのdifflib）\n\nそもそも食材データベースにない食材\n→食材名をショッピングサイトの検索エンジン(楽天市場の食品カテゴリ？)にかけて価格と量をその都度スクレイピングしてデータベースに加える？\n\n混合整数最適化問題（0-1変数で割り当て表現）\n\n12/24\nNSGA2を献立作成に使う\n\nDaskで分散処理\n\n1/6\n多目的GAの制約条件を追加\n1/8\n解を選べるように対話型にする\n1/10\nDASKの分散処理\n午前中打合せ9時半\n\n1/12\nDASK本論書く，印刷する\nマスターはDesktop，大学院のやつ、レノボ、白いノート2台で\n合計4台\n\n数値実験\n１週間\n１.レシピデータベース，食材価格データベース，（作る）栄養素データベースの内容の図 1/18\n２．実行中の様子，説明 NSGA2\n３．パレート解 1/18\n４．対話型による解の出力中の様子 1/20\n５．１，２，４台のパレート解が出てくるまでの時間 何回かやって平均分散出す\n\n２．５ 水上君\nhttps://qiita.com/TSKY/items/b041de0572e6586c889c) #memo(並列GPUでBEAT マルチGPU（PC1台） pytorch\nhttps://qiita.com/m__k/items/87b3b1da15f35321ecf5\n\n×並列GPUでcifar10-cnn（クラウドサービスTensorflow-gpu＆Keras\nhttps://developers.wonderpla.net/entry/2018/01/09/110000\n\ntorch.nn.DataParallel→１つのマシンで複数のGPU並列\n\n\nやること\n1.データベース作成2つ\n2.多目的最適化の定式化を書く、変数を当てはめる\n3.多目的PSOの例題を解く\n4.多目的PSOを山本さんの制約付きに改良する\n5.並列分散\n\n16日までにデータベース\n20日までに多目的最適化PSOの定式化\n24日までに3の数値実験まで\n\n\nWeb情報を活用した自動献立作成における制約条件を考慮した多目的粒子群最適化の並列分散処理\n\n\n11/8\nデータベースの数値を多目的最適化にセットする\n多目的最適化をMOPSOで解く\n11/15\n並列処理\nパレート会から対話型で解を出す\n11/22\n\n11/29\nプロトtypeの完成\n12月本論書く、システムの最終版\n\n12月以降検証評価 システムで建てた献立の栄養素の評価、一週間分の評価、写真撮ってもらう、同じ人で使ってる人と使ってない人で比較する\n\n1月本論の赤ペン\n\n1 はじめに\n\n1.1 本研究の背景\n1.2 本研究の目的\n1.3 本論文の概要\n\n2 自動献立作成の概要\n\n2.1 自動献立作成支援システムの概要\n2.2 Web上のレシピデータを活用\n2.3 多目的最適化による自動献立作成\n\n3 制約条件を考慮できる多目的PSO\n\n3.1 粒子群最適化による解法\n3.2 並列分散処理による解法\n\n4 提案手法\n\n5 数値実験並びに考察\n\n5.1 実験概要および結果\n5.2 考察\n\n6 おわりに\n\n\npyswarm ×\npyGMO 〇\npymoo ×？\n\nレシピにおける食材名と食材データベースでの食材名が微妙に違う場合→文字列の類似度を出して決める（pythonのdifflib）\n\nそもそも食材データベースにない食材\n→食材名をショッピングサイトの検索エンジン(楽天市場の食品カテゴリ？)にかけて価格と量をその都度スクレイピングしてデータベースに加える？\n\n混合整数最適化問題（0-1変数で割り当て表現）\n\n12/24\nNSGA2を献立作成に使う\n\nDaskで分散処理\n\n1/6\n多目的GAの制約条件を追加\n1/8\n解を選べるように対話型にする\n1/10\nDASKの分散処理\n午前中打合せ9時半\n\n1/12\nDASK本論書く，印刷する\nマスターはDesktop，大学院のやつ、レノボ、白いノート2台で\n合計4台\n\n数値実験\n１週間\n１.レシピデータベース，食材価格データベース，（作る）栄養素データベースの内容の図 1/18\n２．実行中の様子，説明 NSGA2\n３．パレート解 1/18\n４．対話型による解の出力中の様子 1/20\n５．１，２，４台のパレート解が出てくるまでの時間 何回かやって平均分散出す\n\n２．５ 水上君\nhttps://qiita.com/TSKY/items/b041de0572e6586c889c\n\n3/3 10時\n3/4 13時\n\n3/7 13時 チェック\n\n最悪のケース\n3/10 13時)
