一.、創建虛擬機

(10條消息) CentOS 7 虛擬機的搭建_仄言2997的博客-CSDN博客

? ? 1. 創建虛擬機

? ? 2. 安裝 CentOS

?二、虛擬機網絡設置

(10條消息) 虛擬機網絡配置_仄言2997的博客-CSDN博客

三、?安裝JDK

(10條消息) 虛擬機安裝jdk，運行java文件_仄言2997的博客-CSDN博客

四、?安裝 Hadoop

(10條消息) 虛擬機安裝Hadoop_仄言2997的博客-CSDN博客

? ? 1. 下載并解壓

? ? 2. 修改配置

五、組成集群（本章）

? ? ? ? 1、虛擬機克隆與主機配置

? ? ? ? 2、配置每臺主機

???????（1）主機配置：更改IP地址

????????（2）?修改主機名(重啟后永久生效)

????????（3）設置ip和域名映射，四臺主機都需要修改

????????3. 免密登錄

? ? ? ? 4、Hadoop集群的配置

????????（1）修改文件#############workers

?????????（2） 創建數據和臨時文件夾

? ? ? ?5.、格式化 HDFS

六、?啟動集群（本章）

????????1、關閉防火墻?

????????2、 宿主機上做節點映射

????????3、Hadoop環境變量配置?(對所有節點)

七、?關閉集群（本章）

在上幾篇文章中我們已經完成了jdk 以及Hadoop的安裝和配置，下面我們就開始Hadoop集群的配置。

組成集群

虛擬機克隆與主機配置

（1）這里推薦采用完整克隆方式,克隆時需要虛擬機處于關機狀態。

2. 配置每臺主機

?（1）主機配置：更改IP地址

設置固定IP命令：vi? /etc/sysconfig/network-scripts/ifcfg-ens33

dot1: 192.168.230.151

dot2: 192.168.230.152

dot3: 192.168.230.153

使用ip addr查看ip地址，ping www.baidu.com,ping通表示成功。

（2）?修改主機名(重啟后永久生效)

命令：vi /etc/sysconfig/network

或者?命令：vi /etc/hostname

對于其他節點：

dot1 -? vi /etc/hostname

?dot1

dot2 - vi /etc/hostname

dot2

dot3 -? vi /etc/hostname

dot3

?（3）設置ip和域名映射，四臺主機都需要修改

命令：vi /etc/hosts

192.168.199.150 demo demo.centos.com
192.168.199.151 dot1 dot1.centos.com
192.168.199.152 dot2 dot2.centos.com
192.168.199.153 dot3 dot3.centos.com

? ? 3. 免密登錄

?免密登錄設置步驟

**第一步：四臺機器生成公鑰與私鑰**

在四臺機器執行以下命令，生成公鑰與私鑰

ssh-keygen -t rsa

執行該命令之后，按下三個回車即可

**第二步：拷貝公鑰到同一臺機器**

四臺機器將拷貝公鑰到demo機器

四臺機器執行命令：

ssh-copy-id demo

?**第三步:復制第一臺機器的認證到其他機器**

將demo機器的公鑰拷貝到其他機器上

在demo機器上面指向以下命令

scp /root/.ssh/authorized_keys dot1:/root/.ssh

scp /root/.ssh/authorized_keys dot2:/root/.ssh

scp /root/.ssh/authorized_keys dot3:/root/.ssh

各機器之間實現免密登錄

ssh master

ssh node1

ssh node2

ssh node3

exit

? ? 4. 格式化 HDFS

?2、Hadoop集群的配置

（1）修改文件#############workers

dot1

dot2

dot3

?（2） 創建數據和臨時文件夾

??（3）?創建數據和臨時文件夾

demo 主節點:

mkdir -p /data/hadoop/tmp

mkdir -p /data/hadoop/namenode

Other dots:

mkdir -p /data/hadoop/tmp

mkdir -p /data/hadoop/datanode

或者在dot節點shell :

ssh dot1“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode”

ssh dot2“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode”

ssh dot3“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode”

格式化 HDFS

在demo上面：

cd /opt/hadoop-3.1.4

cd bin

./hdfs namenode -format demo

? ? 5. 啟動集群

??啟動集群

在demo上操作，cd到sbin文件夾 (/opt/hadoop-3.1.4/sbin)，注意啟動順序：

[root@master sbin]# ./start-dfs.sh

[root@master sbin]# ./start-yarn.sh

[root@master sbin]#?./mr-jobhistory-daemon.sh start historyserver?或者? mapred --daemon start historyserver

！！！報錯：設置hadoop-env.sh

/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh

在demo上設置，添加授權：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

?拷貝文件到其他節點：

scp hadoop-env.sh dot1:/opt/hadoop-3.1.4/etc/hadoop/

scp hadoop-env.sh dot2:/opt/hadoop-3.1.4/etc/hadoop/

scp hadoop-env.sh dot3:/opt/hadoop-3.1.4/etc/hadoop/

[root@demo hadoop]# scp hadoop-env.sh dot1:/opt/hadoop-3.1.4/etc/hadoop/ hadoop-env.sh 100% 16KB 4.8MB/s 00:00 [root@demo hadoop]# scp hadoop-env.sh dot2:/opt/hadoop-3.1.4/etc/hadoop/ hadoop-env.sh 100% 16KB 4.4MB/s 00:00 [root@demo hadoop]# scp hadoop-env.sh dot3:/opt/hadoop-3.1.4/etc/hadoop/ hadoop-env.sh 100% 16KB 4.7MB/s 00:00 [root@demo hadoop]#

->?再重復2步驟，通過jps查看進程

?在demo上操作，cd到sbin文件夾 (/opt/hadoop-3.1.4/sbin)，注意啟動順序：

[root@master sbin]# ./start-dfs.sh

[root@master sbin]# ./start-yarn.sh

[root@master sbin]#?./mr-jobhistory-daemon.sh start historyserver?或者? mapred --daemon start historyserver

6.?關閉防火墻?

?(對所有節點，可以考慮在克隆之前完成)

systemctl status firewalld.service

systemctl stop firewalld.service & systemctl disable firewalld.service

?點擊鏈接：

http://192.168.199.150:50070/dfshealth.html#tab-overview

?????http://192.168.199.150:8088/cluster

http://192.168.199.150:19888/jobhistory

?

7. 宿主機上做節點映射

宿主機上修改，host文件

/C:/Windows/System32/drivers/etc/hosts

192.168.199.150 demo demo.centos.com
192.168.199.151 dot1 dot1.centos.com
192.168.199.152 dot2 dot2.centos.com
192.168.199.153 dot3 dot3.centos.com

編輯文件

?8. Hadoop環境變量配置?

?(對所有節點)

vi /etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.4

export PATH=$PATH:$HADOOP_HOME/bin

[root@demo ~]# vi /etc/profile [root@demo ~]# source /etc/profile [root@demo ~]# echo $HADOOP_HOME /opt/hadoop-3.1.4 [root@demo ~]# echo $PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/opt/hadoop-3.1.4/bin

6.?關閉集群

在master上操作，cd到sbin文件夾 (/opt/hadoop-3.1.4/sbin)，注意關閉順序：

[root@master sbin]# ./stop-dfs.sh

[root@master sbin]# ./stop-yarn.sh

[root@master sbin]#./mr-jobhistory-daemon.sh stop historyserver 或者?mapred --daemon stop historyserver

poweroff

Hadoop集群就配置成功啦！

總結

以上是生活随笔為你收集整理的Hadoop集群的配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。