横井さんのロビー/分散ネットワーク の履歴(No.3)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 横井さんのロビー/分散ネットワーク へ行く。
  • 1 (2018-10-24 (水) 07:19:49)
  • 2 (2018-10-25 (木) 03:37:15)
  • 3 (2018-10-25 (木) 07:31:58)
  • 4 (2018-10-29 (月) 20:22:35)
  • 5 (2019-06-05 (水) 21:05:15)

---

横井?

※ここからが教員側（masterのみ）-----------------------------------------------------------

ssh-keyの作成

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

ssh-keyの配布

ssh-copy-id -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" mater
sshpass -p "tpu" ssh-copy-id -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" master
sshpass -p "tpu" ssh-copy-id -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" slave1

※slaveの台数分実行

※master自身と、各slaveにパスワードなしでsshできることを確認する 　初回実行時は[y]入力が必要になる

ssh master
ssh slave1

※slaves の編集

vim $HADOOP_HOME/etc/hadoop/slaves

slave1
slave2

※etc/hadoop/core-site.xmlの書き換え

 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://192.168.2.200:9000</value>
 </property>

※etc/hadoop/hdfs-site.xmlの書き換え

 <property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>192.168.2.200:50090</value>
 </property>
  <property>
     <name>dfs.data.dir</name>
     <value>/home/tpu/hadoop-2.8.5/data</value>
  </property>
  <property>
     <name>dfs.name.dir</name>
     <value>/home/tpu/hadoop-2.8.5/name</value>
  </property>
  <property>
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
     <value>false</value>
  </property>

その後

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

のちetc/hadoop/mapred-site.xmlの書き換え

 <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>

※etc/hadoop/yarn-site.xmlの書き換え

 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>192.168.2.200</value>
 </property>

設定ファイルを全スレーブにばら撒く(準備ができたスレーブから)

scp $HADOOP_HOME/etc/hadoop/* slave1:$HADOOP_HOME/etc/hadoop/
scp $HADOOP_HOME/etc/hadoop/* slave2:$HADOOP_HOME/etc/hadoop/

※nameディレクトリを作成

mkdir $HADOOP_HOME/name

※dataディレクトリを作成

mkdir $HADOOP_HOME/data

※HDFSをフォーマット

hdfs namenode -format

※HDFSのデーモンを起動

$HADOOP_HOME/sbin/start-dfs.sh

※YARN関連のデーモン起動

$HADOOP_HOME/sbin/start-yarn.sh

※起動の確認

jps

※masterでは

2625 NameNode
2946 Jps
2823 SecondaryNameNode
3005 ResourceManager

※slaveでは

4560 NodeManager
5090 Jps
4456 DataNode

ジョブ履歴を管理するサービス起動(不要？)

mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

※（masterのみ）-----------------------------------------------------