本文主要介紹了在實(shí)驗(yàn)環(huán)境下，能使YARN（以CDH4為例，Apache版本安裝方法類似）正常工作的最簡(jiǎn)單的配置部署方法。如果想在線上集群環(huán)境下搭建YARN，可參考Cloudera的這篇文檔： Deploying MapReduce v2 (YARN) on a Cluster 。

1.?準(zhǔn)備

首先你需要準(zhǔn)備一臺(tái)或多臺(tái)服務(wù)器，同Hadoop 1.0一樣，你需要安裝JDK，利用ssh設(shè)置免密碼登錄，在此不具體介紹。

2.?安裝

接下來(lái)，你可從http://archive.cloudera.com/cdh4/cdh/4/下載最新版的CDH4，然后解壓后，修改以下幾個(gè)配置文件：

（1）?設(shè)置環(huán)境變量

在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh中，添加JAVA安裝目錄：

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

（2）?修改mapred-site.xml

在${HADOOP_HOME}/etc/hadoop/下，將mapred-site.xml.templat重命名成mapred-site.xml，并添加以下內(nèi)容：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

【解釋】相比于Hadoop1.0，用戶無(wú)需再配置mapred.job.tracker，這是因?yàn)镴obTracker已變成客戶端的一個(gè)庫(kù)，他可能被隨機(jī)調(diào)度到任何一個(gè)slave上，也就是它的位置是動(dòng)態(tài)生成的。需要注意的是，在該配置文件中需用mapreduce.framework.name指定采用的框架名稱，默認(rèn)是將作業(yè)提交到MRv1的JobTracker端。

（3）?修改core-site.xml

在${HADOOP_HOME}/etc/hadoop/中，修改core-site.xml，為了簡(jiǎn)單，我們?nèi)圆捎肏adoop1.0中的HDFS工作模式（不配置HDFS Federation）：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://YARN001:8020</value>
<final>true</final>
</property>
</configuration>

（4）?修改yarn-site.xml

在${HADOOP_HOME}/etc/hadoop/中，修改yarn-site.xml：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

【解釋】為了能夠運(yùn)行MapReduce程序，需要讓各個(gè)NodeManager在啟動(dòng)時(shí)加載shuffle server，shuffle server實(shí)際上是Jetty/Netty Server，Reduce Task通過(guò)該server從各個(gè)NodeManager上遠(yuǎn)程拷貝Map Task產(chǎn)生的中間結(jié)果。上面增加的兩個(gè)配置均用于指定shuffle serve。如果YARN集群有多個(gè)節(jié)點(diǎn)，你還要配置yarn.resourcemanager.address等參數(shù)，具體參考Cloudera的這篇文檔：Deploying MapReduce v2 (YARN) on a Cluster。

（5）?修改hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/mnt/disk1/yarn/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/mnt/disk1/yarn/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property></configuration>

（6）?修改slaves

在slaves文件中添加你的節(jié)點(diǎn)ip或者h(yuǎn)ost：

YARN001

如果有多個(gè)NodeManager，可一次添加到該文件中，每個(gè)占一行。

（7）?啟動(dòng)HDFS

你可以使用以下命令分別啟動(dòng)NameNode和DataNode：
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode（如果有多個(gè)datanode，需使用hadoop-daemons.sh）
或者一次啟動(dòng)：sbin/ start-dfs.sh

（8）?啟動(dòng)YARN

你可以使用以下命令分別啟動(dòng)ResourceManager和NodeManager：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager（如果有多個(gè)datanode，需使用yarn-daemons.sh）
或者一次啟動(dòng)過(guò)：sbin/start-yarn.sh

（9）?檢查是否運(yùn)行成功

打開(kāi)瀏覽器，輸入：http://yarn001:8088

（10）?運(yùn)行應(yīng)用程序

通常而言，我們會(huì)運(yùn)行examples中的最簡(jiǎn)單的作業(yè)—sleepjob，但CDH已將之移除，我們可運(yùn)行另外一個(gè)很簡(jiǎn)單的作業(yè)—pi：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.1.1.jar pi 20 10

界面截圖（點(diǎn)擊圖片查看大圖）：

ResourceManager主界面：

MapReduce Application Master界面：

-

Map Task運(yùn)行狀況：

某個(gè)Node上各個(gè)Container狀態(tài)：

3. 總結(jié)

在啟動(dòng)YARN時(shí)，最好手工順次啟動(dòng)各個(gè)服務(wù)，并通過(guò)jps命令查看服務(wù)是夠啟動(dòng)成功，如果不成功，則在安裝目錄下的logs文件夾中查看相應(yīng)的日志以發(fā)現(xiàn)原因。

原創(chuàng)文章，轉(zhuǎn)載請(qǐng)注明：?轉(zhuǎn)載自董的博客

本文鏈接地址:?http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-install/

總結(jié)

以上是生活随笔為你收集整理的Hadoop YARN安装部署初探的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。