横井さんのロビー/分散ネットワーク の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 横井さんのロビー/分散ネットワーク へ行く。
  • 1 (2018-10-24 (水) 07:19:49)
  • 2 (2018-10-25 (木) 03:37:15)
  • 3 (2018-10-25 (木) 07:31:58)
  • 4 (2018-10-29 (月) 20:22:35)
  • 5 (2019-06-05 (水) 21:05:15)

---

横井?

※masterのみ-----------------------------------------------------------

ssh-keyの作成

#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

ssh-keyの配布

#ssh-copy-id -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" mater

#sshpass -p "tpu" ssh-copy-id -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" master

#sshpass -p "tpu" ssh-copy-id -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" slave1 ※slaveの台数分実行

※master自身と、各slaveにパスワードなしでsshできることを確認する 　初回実行時は[y]入力が必要になる

#ssh master

#ssh slave1

※slaves の編集

#vim $HADOOP_HOME/etc/hadoop/slaves slave1 slave2

※etc/hadoop/core-site.xmlの書き換え

 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://192.168.2.200:9000</value>
 </property>

※etc/hadoop/hdfs-site.xmlの書き換え

 <property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>192.168.2.200:50090</value>
 </property>
  <property>
     <name>dfs.data.dir</name>
     <value>/home/tpu/hadoop-2.8.5/data</value>
  </property>
  <property>
     <name>dfs.name.dir</name>
     <value>/home/tpu/hadoop-2.8.5/name</value>
  </property>
  <property>
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
     <value>false</value>
  </property>

#cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

のちetc/hadoop/mapred-site.xmlの書き換え

 <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>

※etc/hadoop/yarn-site.xmlの書き換え

 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>192.168.2.200</value>
 </property>

設定ファイルを全スレーブにばら撒く(準備ができたスレーブから)

#scp $HADOOP_HOME/etc/hadoop/* slave1:$HADOOP_HOME/etc/hadoop/

#scp $HADOOP_HOME/etc/hadoop/* slave2:$HADOOP_HOME/etc/hadoop/

※nameディレクトリを作成

#mkdir $HADOOP_HOME/name ※dataディレクトリを作成

#mkdir $HADOOP_HOME/data

※HDFSをフォーマット

#hdfs namenode -format ※HDFSのデーモンを起動

#start-dfs.sh

※YARN関連のデーモン起動

#start-yarn.sh

※起動の確認

#jps ※masterでは 2625 NameNode 2946 Jps 2823 SecondaryNameNode 3005 ResourceManager

※slaveでは 4560 NodeManager 5090 Jps 4456 DataNode

ジョブ履歴を管理するサービス起動(不要？)

#mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

※masterのみここまで-----------------------------------------------------