安藤_backup の履歴(No.28)

B3後期

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2	データ処理工学
3-4	大規模通信システム工学	英語特別演習４
5-6	電子情報工学特別講義	実験		専門ゼミ
7-8			ユビキタス通信工学
9-10	技術者倫理
11-12

B4前期

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2
3-4
5-6					研究会
7-8					研究会
9-10
11-12

https://translate.google.com/translate?depth=1&hl=ja&prev=search&pto=aue&rurl=translate.google.com&sl=en&sp=nmt4&u=https://github.com/apache/submarine/blob/master/docs/userdocs/yarn/YARNRuntimeGuide.md
slave2~4 と　master2

CentOS7 Wi-Fiドライバ ｶｰﾈﾙｱﾌﾟﾃﾞ不要？
https://papairoiro.blogspot.com/2018/09/centos75nuc5ppyhwifi.html?m=1

BigDL　ディープラーニング+spark
https://github.com/intel-analytics/BigDL-Tutorials

CentOS7へsparkをインストール
https://qiita.com/sugimount/items/8f44808409d1518b8424

むこう　５６７９

DELLPC有線で繋げない→DNSも固定する　１９２．１６８．０．１

python make install まで

https://mgubaidullin.github.io/deeplearning4j-docs/ja/quickstart

dl4jインスト
https://qiita.com/tamura__246/items/3893ec292284c7128069

3/2　wikiに書くこと
https://ishiis.net/2017/03/12/intel-bigdl-install/
でbigdlのビルド,mevan,spark(3.0.2)のインストール
https://bigdl-project.github.io/master/#ScalaUserGuide/run/
でsparkとbigdlの環境変数設定,シェルを起動

3/11
cat /proc/cpuinfo | grep processorでコア数確認
https://bigdl-project.github.io/master/#ScalaUserGuide/run/のビルド済みのライブラリであるBIGDLを使う。リリースページから、自分のsparkのバージョンにあったBIGDLをDLする。

sparkプログラムとして実行でメモリが足りてないエラー
→VMのメモリを設定から増やす

sparkインストールurl
http://ftp.riken.jp/net/apache/spark/spark-3.0.2/spark-3.0.2-bin-hadoop2.7.tgz

master1 sparkshellまで

vggサンプルlocal
$SPARK_HOME/bin/spark-submit --master local[1] --class com.intel.analytics.bigdl.models.vgg.Train \
$BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \
-f $HOME/cifar10 \
-b 4

vggサンプルスタンドアロンクラスタ
$SPARK_HOME/bin/spark-submit --master spark://slave80:7077 --executor-cores 2 --total-executor-cores 2 --class com.intel.analytics.bigdl.models.vgg.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f $HOME/cifar10 -b 4

？？？？？？？？？？？？？？？？？？
$SPARK_HOME/bin/spark-submit --master spark://slave80:7077 --executor-cores 2 --total-executor-cores 2 --class com.intel.analytics.bigdl.models.vgg.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f $HOME/cifar10 -b 4

mnistサンプルlocal train
 $SPARK_HOME/bin/spark-submit --master local[1] --driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar --class com.intel.analytics.bigdl.models.lenet.Train $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar -f ./mnist -b 1 --checkpoint ./model

mnistサンプルlocal test

$SPARK_HOME/bin/spark-submit \--master local[1] \--class com.intel.analytics.bigdl.models.lenet.Test \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \--model ./model/20210405_163107/model.900001 \-b 1

mnistサンプルstandarone train
$ $SPARK_HOME/bin/spark-submit --master spark://master1:7077 \--executor-cores 1 \--total-executor-cores 2 \--driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \--class com.intel.analytics.bigdl.models.lenet.Train \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \-b 12 \--checkpoint ./model

一般物体検出YOLOの分散深層学習による性能評価
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=191420&item_no=1&page_id=13&block_id=8

Darknet53を用いたImageNetによる一般物体認識とYOLOv3を用いた物体検出の分散深層学習
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=194795&item_no=1&page_id=13&block_id=8

sparkエラー↓
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
対処法
https://translate.google.com/translate?hl=ja&sl=en&u=https://kb.databricks.com/clusters/spark-job-not-starting.html&prev=search&pto=aue

やること
hadoopのcore-site.xmlとhdfs-site.xmlを参照してsparkは動く。hadoopモンテカルロ法の時設定した上二つ+(yarnも設定,mapredファイルは無し)のファイルを変更しないとstandaroneクラスタ上でBIGDLのサンプルやsparkshellドキュメンテーションの例は動かない。設定ファイルの見直し（いまは<configuration></configuration>以外何も書いてない、でも動く）、他PCのsparkBIGDL環境構築

slave4,80 master 8 でlenettrain
 $SPARK_HOME/bin/spark-submit --master spark://slave8:7077 \--executor-cores 1 \--total-executor-cores 2 \--driver-class-path $BIGDL_HOME/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \--class
com.intel.analytics.bigdl.models.lenet.Train \./dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist/lib/bigdl-SPARK_3.0-0.12.1-jar-with-dependencies.jar \-f ./mnist \-b 4 \--checkpoint ./model

B3後期

B4前期

安藤の研究会

安藤の卒業研究

卒論ゼミ

メモ