Hadoopによる並列処理での機械学習 の履歴(No.3)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Hadoopによる並列処理での機械学習 へ行く。
  • 1 (2021-02-06 (土) 17:59:38)
  • 2 (2021-03-26 (金) 15:51:54)
  • 3 (2021-03-31 (水) 20:14:37)
  • 4 (2021-04-02 (金) 20:53:36)
  • 5 (2021-04-08 (木) 18:46:14)

---

技術資料

BIGDLを用いてSparkでディープラーニングを実行する 

【参考サイト】 

・BIGDLのチュートリアル
https://bigdl-project.github.io/master/#getting-started/
・Sparkのインストール関連だけ
https://ishiis.net/2017/03/12/intel-bigdl-install/

【インストールするもの】 

・Apache Spark 3.0.2
・BIGDL 0.12.1

【インストールの流れ】 

【Spark】 

左上のアプリケーション→システムツールから端末を開く。これから示すコマンドはこの端末上に入力していく。まず最初に下のコマンドからJDKのダウンロード、インストールを行う。

$ sudo yum install java-1.8.0-openjdk

下のコマンドによりバージョンが表示されればインストールされている。

& java -version

Sparkをダウンロードする。

$ wget http://ftp.riken.jp/net/apache/spark/spark-3.0.2/spark-3.0.2-bin-hadoop2.7.tgz

ダウンロードしたファイルを解凍&いろいろ

$ tar zxvf spark-3.0.2-bin-hadoop2.7.tgz
$ sudo mv spark-3.0.2-bin-hadoop2.7 /usr/local/
$ cd /usr/local/spark-3.0.2-bin-hadoop2.7/
$ sudo cp conf/spark-env.sh.template conf/spark-env.sh
$ sudo chmod +x conf/spark-env.sh
$ sudo cp conf/spark-defaults.conf.template conf/spark-defaults.conf

環境変数を設定する。

$ cd ~
$ sudo vim .bashrc

vimというテキストエディタによって.bashrcファイルを編集する画面になるので、挿入モードに切り替え(iを押す)、以下を追記する。その後、Escで挿入モードを終了し、保存して閉じる。（:wqと入力しEnter）

export SPARK_HOME=/usr/local/spark-3.0.2-bin-hadoop2.7

設定した.bashrcファイルを反映させる。

source .bashrc

【BIGDL】 

https://bigdl-project.github.io/master/#release-download/

上のリンクから、リリース0.12.1のSpark3.0.0用ダウンロードリンクからBIGDLをダウンロードする。ダウンロードしたフォルダをホームに配置し、下記のコマンドから解凍する。

$ unzip dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist.zip -d dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist

環境変数を設定する。下のコマンドから.bashrcを開く。

$ sudo vim .bashrc

以下(export～)を追記した後、設定を反映する。(source～)

export BIGDL_HOME=$HOME/dist-spark-3.0.0-scala-2.12.10-all-0.12.1-dist

$ source .bashrc