ラズパイクラスタ の履歴(No.3)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• ラズパイクラスタ へ行く。
  • 1 (2018-04-26 (木) 09:51:46)
  • 2 (2018-04-26 (木) 11:00:21)
  • 3 (2018-05-07 (月) 09:45:58)
  • 4 (2018-05-09 (水) 12:25:48)
  • 5 (2018-05-10 (木) 09:07:58)

---

山本?

ラズパイクラスタを用いて円周率を並列計算 

• 必要な物
  raspberrypi 3.0×8
  sdカード16G以上×8
  8ポート以上のハブ
  
• ※以下のものがあれば便利
  USB接続できるキーボート
  USB接続できるマウス
  HDMI接続できるモニタ
  
  
  

1. 実験環境構築
   ラズパイクラスタの作成方法はraspberrypiクラスタの構築キットみたいなものがあるのでそちらを参考に組み立てる．
   実際の画像
2. raspberrypiのインストール・設定
   ラズベリーパイのOSインストールや初期設定・SSH接続の方法などは

• 横井専門ゼミ
  を参考に行う
  

ネットワーク設定 

raspberrypiをwifiでインターネットに接続する場合研究室内のwifi(AirMacpro)に接続,パスワードはbasestation
なお, ホスト名とIPアドレスは,

master, 192.168.0.60

slave1, 192.168.0.61

...

slave7, 192.168.0.67

のように設定するものとして説明する.

1. ユーザーpiのパスワードを設定する.

$ passwd

(必須ではないが, 警告がでないようにする. )

2. パッケージリストを更新する.

$ sudo apt-get update

3. 設定ファイルを編集していくので, 必要であればテキストエディタをインストールする.

$ sudo apt-get install emacs

4. /etc/hostnameの内容(ホスト名)を

$ sudo emacs /etc/hostname

により編集する(1行にホスト名を記述する).

5. 固定IPの設定のために /etc/dhcpcd.confを編集する． ファイル内の下部に#It is possible to fall.....と記述されているところがあるので,そこの３行下に

#static ip_address=初期設定のIPアドレス
と記述されているので初期設定のIPアドレスをそれぞれのラズパイのIPに書き換える．その後左の#を消去．

6. 名前解決のために/etc/hostsを編集する.

192.168.0.60 master

192.168.0.61 slave1

...

192.168.0.67 slave7

を追記する.

7. ネットワークを再起動する(RasPi自体を再起動してもよい).

8. ping ホスト名, ping IPアドレスがそれぞれのノードに正常に通るか確認する.

9. 各RasPiでsshを有効にするための設定を行う.

$ sudo raspi-config

を押して, sshをenableに設定する.

10. ssh-keygen -t rsaを実行する. いくつか聞かれるが, 全てEnterで処理してよい.

11. 公開鍵を全てのマシンに送信する.

$ ssh-copy-id master

$ ssh-copy-id slave1

...

$ ssh-copy-id slave7 上記をすべてのラズパイで行う．

以降では, リモートで各マシンにssh接続して設定を行う.

hadoopの設定 

11. Hadoopを実行するために必要となるjavaをインストールする.

$ sudo apt-get install oracle-java8-jdk

12. Hadoopをダウンロードし解凍する.

$ cd ~pi/

$ wget http://ftp.jaist.ac.jp/pub/apache/hadoop/common/hadoop-3.0.2/hadoop-3.0.2.tar.gz

※hadoopのバージョンはその都度インストールできるヴァージョンを確認する

$ tar zxvf hadoop-3.0.2.tar.gz

13. Hadoopの環境変数 + 設定ファイルを修正する.

以下のファイルを編集する.

pi/.bashrc

pi/hadoop-3.0.2/etc/hadoop/hadoop-env.sh

pi/hadoop-3.0.2/etc/hadoop/core-site.xml

pi/hadoop-3.0.2/etc/hadoop/hdfs-site.xml

pi/hadoop-3.0.2/etc/hadoop/mapred-site.xml

pi/hadoop-3.0.2/etc/hadoop/yarn-site.xml

元となるファイルは太田先生のページ
http://www.pu-toyama.ac.jp/IS/IIE/local_pages/lab_log/wiki.php?%E5%A4%AA%E7%94%B0 の下部から取得できる．

14. Hadoopネームノードの初期設定

$hdfs namenode -format

15. masterのサービスの起動

$hdfs --daemon start namenode

$yarn --daemon start resourcemanager

ブラウザで, 192.168.0.60:9870, 192.168.0.60:8088にアクセスできるか確認しておく.

16. slave1~7のサービスの起動

$hdfs --daemon start datanode

$yarn --daemon start nodemanager

Hadoopのサンプルプログラムの実行 

17. Hadoopのサンプルプログラムの実行(masterで作業).

　hadoop jar /home/pi/hadoop-3.0.2/share/hadoop/mareduce/hadoop-mapreduce-examples-3.0.2.jar pi 10 10000

を実行，以下実行結果