Hadoop配置-Yarn篇

作者：秦景坤

時間：2017-4-23

YARN是Hadoop2.x中的內容（偽分布式不啟動YARN也可以，一般不會影響程序執(zhí)行）

有的讀者可能會疑惑，怎么啟動Hadoop后，見不到書上所說的JobTracker和TaskTracker，這是因為新版的Hadoop使用了新的MapReduce框架（MapReduce V2,也稱為YARN,Yet Another Resource Negotiator）。

YARN是從MapReduce中分離出來的，負責資源管理與任務調度。YRAN運行于MapReduce之上，提供了高可用性、高擴展性。

上一篇中通過./sbin/start-dfs.sh啟動Hadoop，僅僅是啟動了MapReduce環(huán)境，可以啟動YARN,讓YARN來負責資源管理和任務調度。

首先修改配置文件mapred-site.xml，這邊需要先進行重命名。

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后再進行編輯，同樣使用vi進行編輯 vi ./etc/hadoop/mapred-site.xml

接著修改配置文件yarn-site.xml:

然后就可以啟動YARN（需要先執(zhí)行./sbin/start-dfs.sh）

啟動YARN之后，運行實例的方法還是一樣的，僅僅是資源管理方式，任務調度不同。觀察日志信息可以發(fā)現，不啟用YARN時，是”mapred.LocalJobRunner”在跑任務，啟用YARN之后，是”mapred.YARNRunner”在跑任務。啟動YARN有個好處是可以通過web界面查看任務的運行情況。

但YARN主要是為集群提供更好的資源管理和任務調度，然而這在單機上體現不出價值，反而會使程序跑的稍慢些。因此在單機上是否開啟YARN就看實際情況了。

如果不想啟動YARN，務必把配置文件mapred-site.xml重命名，改成mapred-site.xml.template,需要時改回來就行。否則在該配置文件存在，而未開啟YARN的情況下，運行程序會提示”Retrying connect to server:0.0.0.0/0.0.0.0:8032”的錯誤，這也是為何該配置文件初始文件名為mapred-site.xml.template

同樣的，關閉YARN的腳本如下：

./sbin/stop-yarn.sh ./sbin/mr-jobhistory-daemon.sh stop historyserver

總結

以上是生活随笔為你收集整理的Hadoop配置Yarn的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。