五、Hadoop配置參數(shù)介紹

Hadoop集群配置文件主要有：

它們的默認(rèn)參數(shù)配置可以看：

core-default.xml ：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

hdfs-default.xml：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

mapred-default.xml：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

yarn-default.xml：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

---

六、Hadoop集群?jiǎn)?dòng)與監(jiān)控

Hadoop集群?jiǎn)?dòng)/關(guān)閉采用下面步驟：
啟動(dòng)：

在Master節(jié)點(diǎn)：$HADOOP_HOME/sbin/start-dfs.sh ，啟動(dòng)HDFS 。

在Master節(jié)點(diǎn)：$HADOOP_HOME/sbin/start-yarn.sh， 啟動(dòng)YARN。

在Master節(jié)點(diǎn)：$HADOOP_HOME/bin/mapred --daemon start historyserver，啟動(dòng)日志服務(wù)。

關(guān)閉：

在Master節(jié)點(diǎn)：$HADOOP_HOME/sbin/stop-dfs.sh ，關(guān)閉HDFS 。

在Master節(jié)點(diǎn)：$HADOOP_HOME/sbin/stop-yarn.sh， 關(guān)閉YARN。

在Master節(jié)點(diǎn)：$HADOOP_HOME/bin/mapred --daemon stop historyserver，關(guān)閉日志服務(wù)。

6.1、Hadoop集群?jiǎn)?dòng)報(bào)錯(cuò)及解決

報(bào)錯(cuò)：

解決方法：

在/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh添加如下語(yǔ)句

export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

然后再拷貝到子節(jié)點(diǎn)

scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/ scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/ scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/

修改完后，啟動(dòng)HDFS可以看到：

啟動(dòng)YARN

啟動(dòng)mapred

6.2、查看監(jiān)控

在瀏覽器輸入網(wǎng)址：192.168.128.10:50070

注意：看服務(wù)有沒(méi)有開(kāi)啟；要記得關(guān)閉防火墻，否則會(huì)出現(xiàn)無(wú)法訪問(wèn)網(wǎng)站

服務(wù)已開(kāi)啟：

查看防火墻狀態(tài)：

systemctl status firewalld.service

關(guān)閉防火墻：

systemctl stop firewalld.service

永久關(guān)閉防火墻：

systemctl disable firewalld.service

同時(shí)，我們也要把子節(jié)點(diǎn)的防火墻關(guān)掉：

ssh node1 "systemctl stop firewalld.service & systemctl disable firewalld.service" ssh node2 "systemctl stop firewalld.service & systemctl disable firewalld.service" ssh node3 "systemctl stop firewalld.service & systemctl disable firewalld.service"

最后，我們重新輸入網(wǎng)址就可以看到界面了

6.3、優(yōu)化配置

在網(wǎng)址輸入：node1:9864 發(fā)現(xiàn)無(wú)法訪問(wèn)，因此我們要設(shè)置機(jī)器名與IP映射

機(jī)器名與IP映射設(shè)置

打開(kāi)C:\Windows\System32\drivers\etc\hosts添加如下：

192.168.128.10 master master.centos.com 192.168.128.11 node1 node1.centos.com 192.168.128.12 node2 node2.centos.com 192.168.128.13 node3 node3.centos.com

（如果遇到hosts沒(méi)有權(quán)限無(wú)法更改，參考這篇博客：https://blog.csdn.net/ahmcwt/article/details/109578320）

完成！

總結(jié)

以上是生活随笔為你收集整理的学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。