Hadoop配置-Yarn篇

作者：秦景坤

時間：2017-4-23

YARN是Hadoop2.x中的內(nèi)容（偽分布式不啟動YARN也可以，一般不會影響程序執(zhí)行）

有的讀者可能會疑惑，怎么啟動Hadoop后，見不到書上所說的JobTracker和TaskTracker，這是因?yàn)樾掳娴腍adoop使用了新的MapReduce框架（MapReduce V2,也稱為YARN,Yet Another Resource Negotiator）。

YARN是從MapReduce中分離出來的，負(fù)責(zé)資源管理與任務(wù)調(diào)度。YRAN運(yùn)行于MapReduce之上，提供了高可用性、高擴(kuò)展性。

上一篇中通過./sbin/start-dfs.sh啟動Hadoop，僅僅是啟動了MapReduce環(huán)境，可以啟動YARN,讓YARN來負(fù)責(zé)資源管理和任務(wù)調(diào)度。

首先修改配置文件mapred-site.xml，這邊需要先進(jìn)行重命名。

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再進(jìn)行編輯，同樣使用vi進(jìn)行編輯 vi ./etc/hadoop/mapred-site.xml

接著修改配置文件yarn-site.xml:

然后就可以啟動YARN（需要先執(zhí)行./sbin/start-dfs.sh）

啟動YARN之后，運(yùn)行實(shí)例的方法還是一樣的，僅僅是資源管理方式，任務(wù)調(diào)度不同。觀察日志信息可以發(fā)現(xiàn)，不啟用YARN時，是”mapred.LocalJobRunner”在跑任務(wù)，啟用YARN之后，是”mapred.YARNRunner”在跑任務(wù)。啟動YARN有個好處是可以通過web界面查看任務(wù)的運(yùn)行情況。

但YARN主要是為集群提供更好的資源管理和任務(wù)調(diào)度，然而這在單機(jī)上體現(xiàn)不出價值，反而會使程序跑的稍慢些。因此在單機(jī)上是否開啟YARN就看實(shí)際情況了。

如果不想啟動YARN，務(wù)必把配置文件mapred-site.xml重命名，改成mapred-site.xml.template,需要時改回來就行。否則在該配置文件存在，而未開啟YARN的情況下，運(yùn)行程序會提示”Retrying connect to server:0.0.0.0/0.0.0.0:8032”的錯誤，這也是為何該配置文件初始文件名為mapred-site.xml.template

同樣的，關(guān)閉YARN的腳本如下：

./sbin/stop-yarn.sh ./sbin/mr-jobhistory-daemon.sh stop historyserver

總結(jié)

以上是生活随笔為你收集整理的Hadoop配置Yarn的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。