![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
・BIGDLのチュートリアル
https://bigdl-project.github.io/master/#getting-started/
・Sparkのインストール、メモリ関連
https://ishiis.net/2017/03/12/intel-bigdl-install/
・Spark分散処理環境の構築
https://dev.classmethod.jp/articles/construct-spark-cluster/
◆MasterPCに入れるもの
・Apache Spark 3.0.2
・BIGDL 0.12.1
MasterPCの環境を構築する。
左上のアプリケーション→システムツールから端末を開く。これから示すコマンドはこの端末上に入力していく。まず最初に下のコマンドからJDKのダウンロード、インストールを行う。
$ sudo yum install java-1.8.0-openjdk
下のコマンドによりバージョンが表示されればインストールされている。
$ java -version
Sparkをダウンロードする。
$ wget http://ftp.riken.jp/net/apache/spark/spark-3.0.2/spark-3.0.2-bin-hadoop2.7.tgz
ダウンロードしたファイルを解凍&いろいろ
$ tar zxvf spark-3.0.2-bin-hadoop2.7.tgz $ sudo mv spark-3.0.2-bin-hadoop2.7 /usr/local/ $ cd /usr/local/spark-3.0.2-bin-hadoop2.7/ $ sudo cp conf/spark-env.sh.template conf/spark-env.sh $ sudo chmod +x conf/spark-env.sh $ sudo cp conf/spark-defaults.conf.template conf/spark-defaults.conf $ sudo echo "SPARK_EXECUTOR_INSTANCES=2" >> conf/spark-env.sh $ sudo echo "SPARK_EXECUTOR_MEMORY=2G" >> conf/spark-env.sh $ sudo echo "SPARK_DRIVER_MEMORY=2G" >> conf/spark-env.sh
環境変数を設定する。
$ cd ~ $ sudo vim .bashrc
vimというテキストエディタによって.bashrcファイルを編集する画面になるので、挿入モードに切り替え(iを押す)、以下を追記する。その後、Escで挿入モードを終了し、保存して閉じる。（:wqと入力しEnter）
export SPARK_HOME=/usr/local/spark-3.0.2-bin-hadoop2.7
設定した.bashrcファイルを反映させる。
source .bashrc
https://bigdl-project.github.io/master/#release-download/
上のリンクから、リリース0.12.1のSpark3.0.0用ダウンロードリンクからBIGDLをダウンロードする。ダウンロードしたフォルダをホームに配置し、下記のコマンドから解凍する。
$ unzip dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist.zip -d dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist
環境変数を設定する。下のコマンドから.bashrcを開く。
$ sudo vim .bashrc
以下(export～)を追記した後、設定を反映する。(source～)
export BIGDL_HOME=$HOME/dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist
$ source .bashrc
複数のPCにより分散処理ができる環境を作る。分散処理において、制御する側はマスター、制御される側はスレーブと呼ばれている。下のコマンドよりマスターを立ち上げる。
$ cd $SPARK_HOME $ sbin/start-master.sh
下のURLをVirtualBox上で打ち込み開く。
http://localhost:8080
次に
