五、Hadoop配置參數介紹

Hadoop集群配置文件主要有：

它們的默認參數配置可以看：

core-default.xml ：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

hdfs-default.xml：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

mapred-default.xml：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

yarn-default.xml：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

---

六、Hadoop集群啟動與監控

Hadoop集群啟動/關閉采用下面步驟：
啟動：

在Master節點：$HADOOP_HOME/sbin/start-dfs.sh ，啟動HDFS 。

在Master節點：$HADOOP_HOME/sbin/start-yarn.sh， 啟動YARN。

在Master節點：$HADOOP_HOME/bin/mapred --daemon start historyserver，啟動日志服務。

關閉：

在Master節點：$HADOOP_HOME/sbin/stop-dfs.sh ，關閉HDFS 。

在Master節點：$HADOOP_HOME/sbin/stop-yarn.sh， 關閉YARN。

在Master節點：$HADOOP_HOME/bin/mapred --daemon stop historyserver，關閉日志服務。

6.1、Hadoop集群啟動報錯及解決

報錯：

解決方法：

在/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh添加如下語句

export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

然后再拷貝到子節點

scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/ scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/ scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/

修改完后，啟動HDFS可以看到：

啟動YARN

啟動mapred

6.2、查看監控

在瀏覽器輸入網址：192.168.128.10:50070

注意：看服務有沒有開啟；要記得關閉防火墻，否則會出現無法訪問網站

服務已開啟：

查看防火墻狀態：

systemctl status firewalld.service

關閉防火墻：

systemctl stop firewalld.service

永久關閉防火墻：

systemctl disable firewalld.service

同時，我們也要把子節點的防火墻關掉：

ssh node1 "systemctl stop firewalld.service & systemctl disable firewalld.service" ssh node2 "systemctl stop firewalld.service & systemctl disable firewalld.service" ssh node3 "systemctl stop firewalld.service & systemctl disable firewalld.service"

最后，我們重新輸入網址就可以看到界面了

6.3、優化配置

在網址輸入：node1:9864 發現無法訪問，因此我們要設置機器名與IP映射

機器名與IP映射設置

打開C:\Windows\System32\drivers\etc\hosts添加如下：

192.168.128.10 master master.centos.com 192.168.128.11 node1 node1.centos.com 192.168.128.12 node2 node2.centos.com 192.168.128.13 node3 node3.centos.com

（如果遇到hosts沒有權限無法更改，參考這篇博客：https://blog.csdn.net/ahmcwt/article/details/109578320）

完成！

總結

以上是生活随笔為你收集整理的学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。