1 YARN-HA工作機(jī)制

官方文檔：

http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

YARN-HA工作機(jī)制，如圖3-23所示

圖3-22 YARN-HA工作機(jī)制

2 配置YARN-HA集群

環(huán)境準(zhǔn)備

（1）修改IP

（2）修改主機(jī)名及主機(jī)名和IP地址的映射

（3）關(guān)閉防火墻

（4）ssh免密登錄

（5）安裝JDK，配置環(huán)境變量等

（6）配置Zookeeper集群

規(guī)劃集群

表3-2

hadoop102

hadoop103

hadoop104

NameNode

NameNode

JournalNode

JournalNode

JournalNode

DataNode

DataNode

DataNode

ZK

ZK

ZK

ResourceManager

ResourceManager

NodeManager

NodeManager

NodeManager

具體配置

（1）yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!–啟用resourcemanager ha–>

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<!–聲明兩臺(tái)resourcemanager的地址–>

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>cluster-yarn1</value>

</property>

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>hadoop102</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>hadoop103</value>

</property>

<!–指定zookeeper集群的地址–>

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>

</property>

<!–啟用自動(dòng)恢復(fù)–>

<property>

<name>yarn.resourcemanager.recovery.enabled</name>

<value>true</value>

</property>

<!–指定resourcemanager的狀態(tài)信息存儲(chǔ)在zookeeper集群–>

<property>

<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

</configuration>

（2）同步更新其他節(jié)點(diǎn)的配置信息

啟動(dòng)hdfs

（1）在各個(gè)JournalNode節(jié)點(diǎn)上，輸入以下命令啟動(dòng)journalnode服務(wù)：

sbin/hadoop-daemon.sh start journalnode

（2）在[nn1]上，對(duì)其進(jìn)行格式化，并啟動(dòng)：

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

（3）在[nn2]上，同步nn1的元數(shù)據(jù)信息：

bin/hdfs namenode -bootstrapStandby

（4）啟動(dòng)[nn2]：

sbin/hadoop-daemon.sh start namenode

（5）啟動(dòng)所有DataNode

sbin/hadoop-daemons.sh start datanode

（6）將[nn1]切換為Active

bin/hdfs haadmin -transitionToActive nn1

啟動(dòng)YARN

（1）在hadoop102中執(zhí)行：

sbin/start-yarn.sh

（2）在hadoop103中執(zhí)行：

sbin/yarn-daemon.sh start resourcemanager

（3）查看服務(wù)狀態(tài)，如圖3-24所示

bin/yarn rmadmin -getServiceState rm1

圖3-24 YARN的服務(wù)狀態(tài)

文章來(lái)源：大數(shù)據(jù)培訓(xùn)

總結(jié)

以上是生活随笔為你收集整理的yarn 更新_YARN-HA配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。