日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

YARN环境部署

發布時間:2024/9/16 编程问答 41 豆豆
生活随笔 收集整理的這篇文章主要介紹了 YARN环境部署 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

etc/hadoop/mapred-site.xml

添加下面的配置:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

etc/hadoop/yarn-site.xml

添加下面的配置:

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.local-dirs</name><value>/home/iie4bu/app/tmp/hadoop-tmp/nm-local-dir</value></property><!-- 用yarn logs -applicationId application_1692763927489_0001時需要進行配置, 否則 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property></configuration>

如果不設置yarn.log-aggregation-enable會出現/tmp/logs/iie/logs/application_xxxxxxx does not exist

啟動ResourceManager進程和NodeManager進程

sbin/start-yarn.sh

訪問Resource Manager

瀏覽器中輸入地址http://ip:8088

表示存活的Node個數是1個。

運行一個作業

在hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce路徑下有一個hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar示例文件,里面有很多測試方法。
運行命令:

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar wordcount /input/wc/hello.txt /output/wc/

總結

以上是生活随笔為你收集整理的YARN环境部署的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。