?

搭建步驟就不多說了,網(wǎng)上教程很多,這里列舉幾個(gè):

https://blog.csdn.net/pucao_cug/article/details/71698903? ? 2.8版本

https://www.cnblogs.com/forbeat/p/8179877.html? ? 3.0版本的

一 端口變化

3.2.0版本中namenode頁(yè)面端口是9870,datanode管理端口是8088,所以需要開放這兩個(gè)端口還給web頁(yè)面訪問

二?but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation

hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無法啟動(dòng):

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性

<property><name>mapreduce.application.classpath</name><value>/usr/local/hadoop3/etc/hadoop,/usr/local/hadoop3/share/hadoop/common/*,/usr/local/hadoop3/share/hadoop/common/lib/*,/usr/local/hadoop3/share/hadoop/hdfs/*,/usr/local/hadoop3/share/hadoop/hdfs/lib/*,/usr/local/hadoop3/share/hadoop/mapreduce/*,/usr/local/hadoop3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop3/share/hadoop/yarn/*,/usr/local/hadoop3/share/hadoop/yarn/lib/*</value></property>

四 salave文件編程workers文件了,內(nèi)容配置是一樣的

五 啟動(dòng)成功不報(bào)錯(cuò),但最蛋疼的Live Nodes為0問題

解決步驟:

一 先查看datanode 日志:

如果出現(xiàn)這個(gè)說明連接配置有問題,查看core-site.xml配置,這個(gè)是配置datanode和namnode通信的:

一看?

這里配置的連接地址有問題

hdfs應(yīng)該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點(diǎn)都一樣,這個(gè)地址,配置完成重啟成功

網(wǎng)上還有說/etc/hots解析不成功的,這個(gè)也是一個(gè)原因,配置好域名映射就可以了,重要的是先看日志分析是什么問題

最后成功頁(yè)面

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/houzheng/p/10891628.html

總結(jié)

以上是生活随笔為你收集整理的hadoop3.2.0集群搭建的一些坑!的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。