安藤_backup の履歴(No.41)

FrontPage

技術資料書く　

facedetect

モザイク

tex

B3後期

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2	データ処理工学
3-4	大規模通信システム工学	英語特別演習４
5-6	電子情報工学特別講義	実験		専門ゼミ
7-8			ユビキタス通信工学
9-10	技術者倫理
11-12

B4前期

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2
3-4
5-6					研究会
7-8					研究会
9-10
11-12

https://translate.google.com/translate?depth=1&hl=ja&prev=search&pto=aue&rurl=translate.google.com&sl=en&sp=nmt4&u=https://github.com/apache/submarine/blob/master/docs/userdocs/yarn/YARNRuntimeGuide.md
slave2~4 と　master2

CentOS7 Wi-Fiドライバ ｶｰﾈﾙｱﾌﾟﾃﾞ不要？
https://papairoiro.blogspot.com/2018/09/centos75nuc5ppyhwifi.html?m=1

BigDL　ディープラーニング+spark
https://github.com/intel-analytics/BigDL-Tutorials

CentOS7へsparkをインストール
https://qiita.com/sugimount/items/8f44808409d1518b8424

むこう　５６７９

DELLPC有線で繋げない→DNSも固定する　１９２．１６８．０．１

python make install まで

https://mgubaidullin.github.io/deeplearning4j-docs/ja/quickstart

dl4jインスト
https://qiita.com/tamura__246/items/3893ec292284c7128069

3/2　wikiに書くこと
https://ishiis.net/2017/03/12/intel-bigdl-install/
でbigdlのビルド,mevan,spark(3.0.2)のインストール
https://bigdl-project.github.io/master/#ScalaUserGuide/run/
でsparkとbigdlの環境変数設定,シェルを起動

3/11
cat /proc/cpuinfo | grep processorでコア数確認
https://bigdl-project.github.io/master/#ScalaUserGuide/run/のビルド済みのライブラリであるBIGDLを使う。リリースページから、自分のsparkのバージョンにあったBIGDLをDLする。

sparkプログラムとして実行でメモリが足りてないエラー
→VMのメモリを設定から増やす

sparkインストールurl
http://ftp.riken.jp/net/apache/spark/spark-3.0.2/spark-3.0.2-bin-hadoop2.7.tgz

master1 sparkshellまで

vggサンプルlocal
$SPARK_HOME/bin/spark-submit --master local[1] --class com.intel.analytics.bigdl.models.vgg.Train \
$BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \
-f $HOME/cifar10 \
-b 4

vggサンプルスタンドアロンクラスタ
$SPARK_HOME/bin/spark-submit --master spark://slave80:7077 --executor-cores 2 --total-executor-cores 2 --class com.intel.analytics.bigdl.models.vgg.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f $HOME/cifar10 -b 4

？？？？？？？？？？？？？？？？？？
$SPARK_HOME/bin/spark-submit --master spark://slave80:7077 --executor-cores 2 --total-executor-cores 2 --class com.intel.analytics.bigdl.models.vgg.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f $HOME/cifar10 -b 4

mnistサンプルlocal train
 $SPARK_HOME/bin/spark-submit --master local[1] --driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar --class com.intel.analytics.bigdl.models.lenet.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f ./mnist -b 1 --checkpoint ./model

mnistサンプルlocal test

$SPARK_HOME/bin/spark-submit \--master local[1] \--class com.intel.analytics.bigdl.models.lenet.Test \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \--model ./model/20210405_163107/model.900001 \-b 1

mnistサンプルstandarone train
$ $SPARK_HOME/bin/spark-submit --master spark://master1:7077 \--executor-cores 1 \--total-executor-cores 2 \--driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \--class com.intel.analytics.bigdl.models.lenet.Train \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \-b 12 \--checkpoint ./model

一般物体検出YOLOの分散深層学習による性能評価
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=191420&item_no=1&page_id=13&block_id=8

Darknet53を用いたImageNetによる一般物体認識とYOLOv3を用いた物体検出の分散深層学習
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=194795&item_no=1&page_id=13&block_id=8

sparkエラー↓
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
対処法
https://translate.google.com/translate?hl=ja&sl=en&u=https://kb.databricks.com/clusters/spark-job-not-starting.html&prev=search&pto=aue

やること
hadoopのcore-site.xmlとhdfs-site.xmlを参照してsparkは動く。hadoopモンテカルロ法の時設定した上二つ+(yarnも設定,mapredファイルは無し)のファイルを変更しないとstandaroneクラスタ上でBIGDLのサンプルやsparkshellドキュメンテーションの例は動かない。設定ファイルの見直し（いまは<configuration></configuration>以外何も書いてない、でも動く）、他PCのsparkBIGDL環境構築

slave4,80 master 8 でlenettrain
 $SPARK_HOME/bin/spark-submit --master spark://slave8:7077 \--executor-cores 1 \--total-executor-cores 2 \--driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \--class
com.intel.analytics.bigdl.models.lenet.Train \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \-b 4 \--checkpoint ./model

並列GPUでBEAT　マルチGPU（PC1台）　pytorch
https://qiita.com/m__k/items/87b3b1da15f35321ecf5

×並列GPUでcifar10-cnn（クラウドサービスTensorflow-gpu＆Keras
https://developers.wonderpla.net/entry/2018/01/09/110000

torch.nn.DataParallel→１つのマシンで複数のGPU並列

やること
1.データベース作成2つ
2.多目的最適化の定式化を書く、変数を当てはめる
3.多目的PSOの例題を解く
4.多目的PSOを山本さんの制約付きに改良する
5.並列分散

16日までにデータベース
20日までに多目的最適化PSOの定式化
24日までに3の数値実験まで

Web情報を活用した自動献立作成における制約条件を考慮した多目的粒子群最適化の並列分散処理

11/8
データベースの数値を多目的最適化にセットする
多目的最適化をMOPSOで解く
11/15
並列処理
パレート会から対話型で解を出す
11/22

11/29
プロトtypeの完成
12月本論書く、システムの最終版

12月以降検証評価　システムで建てた献立の栄養素の評価、一週間分の評価、写真撮ってもらう、同じ人で使ってる人と使ってない人で比較する

1月本論の赤ペン

1 はじめに

1.1 本研究の背景
1.2 本研究の目的
1.3 本論文の概要

2 自動献立作成の概要

2.1 自動献立作成支援システムの概要
2.2 Web上のレシピデータを活用
2.3 多目的最適化による自動献立作成

3 制約条件を考慮できる多目的PSO

3.1 粒子群最適化による解法
3.2 並列分散処理による解法

4 提案手法

5 数値実験並びに考察

5.1 実験概要および結果
5.2 考察

6 おわりに

pyswarm  ×
pyGMO  〇
pymoo  ×？

レシピにおける食材名と食材データベースでの食材名が微妙に違う場合→文字列の類似度を出して決める（pythonのdifflib）

そもそも食材データベースにない食材
→食材名をショッピングサイトの検索エンジン(楽天市場の食品カテゴリ？)にかけて価格と量をその都度スクレイピングしてデータベースに加える？

混合整数最適化問題（0-1変数で割り当て表現）

12/24
NSGA2を献立作成に使う

ライブラリortoolpyのaddbinvars()で0-1変数の作成

B3後期

B4前期

安藤の研究会

安藤の卒業研究

卒論ゼミ

メモ

中間発表