文章目錄

• • • • • 一、上傳與 解壓
        • • 1. 上傳安裝包
          • 2. 解壓hadoop安裝包
        • 二、修改hadoop相關配置文件
        • • 2.1. hadoop-env.sh
          • 2.2. core-site.xml
          • 2.3. hdfs-site.xml
          • 2.4. mapred-site.xml
          • 2.5. yarn-site.xml
          • 2.6. workers
          • 2.7. 修改啟動腳本
        • 三、同步初始化
        • • 3.1. 安裝包同步
          • 3.2. 主節點格式化HDFS
          • 3.3. 啟動集群
          • 3.4. 驗證集群
          • 3.5. webui
          • 3.6. Hadoop的客戶端節點

一、上傳與 解壓

首先在bigdata01節點上安裝。

1. 上傳安裝包

把hadoop-3.2.0.tar.gz安裝包上傳到linux機器的/data/soft目錄下

[root@bigdata01 ~]# ll /data/soft/ total 527024 -rw-r--r--. 1 root root 345625475 Jul 2 21:18 hadoop-3.2.0.tar.gz drwxr-xr-x. 7 10 143 245 Dec 16 2018 jdk1.8 -rw-r--r--. 1 root root 194042837 Mar 8 2020 jdk-8u202-linux-x64.tar.gz You have new mail in /var/spool/mail/root [root@bigdata01 ~]#

2. 解壓hadoop安裝包

[root@bigdata01 soft]# tar -zxvf hadoop-3.2.0.tar.gz

二、修改hadoop相關配置文件

進入配置文件所在目錄

[root@bigdata01 soft]# cd hadoop-3.2.0/etc/hadoop/ [root@bigdata01 hadoop]#

2.1. hadoop-env.sh

首先修改hadoop-env.sh文件，在文件末尾增加環境變量信息

[root@bigdata01 hadoop]# vi hadoop-env.sh export JAVA_HOME=/data/soft/jdk1.8 export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

2.2. core-site.xml

修改core-site.xml文件，注意fs.defaultFS屬性中的主機名需要和主節點的主機名保持一致

[root@bigdata01 hadoop]# vi core-site.xml <configuration><property><name>fs.defaultFS</name><value>hdfs://bigdata01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/data/hadoop_repo</value></property> </configuration>

2.3. hdfs-site.xml

修改hdfs-site.xml文件，把hdfs中文件副本的數量設置為2，最多為2，因為現在集群中有兩個從節點，還有secondaryNamenode進程所在的節點信息

[root@bigdata01 hadoop]# vi hdfs-site.xml <configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.secondary.http-address</name><value>bigdata01:50090</value></property> </configuration>

2.4. mapred-site.xml

修改mapred-site.xml，設置mapreduce使用的資源調度框架

[root@bigdata01 hadoop]# vi mapred-site.xml <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

2.5. yarn-site.xml

修改yarn-site.xml，設置yarn上支持運行的服務和環境變量白名單

注意，針對分布式集群在這個配置文件中還需要設置resourcemanager的hostname，否則nodemanager找不到resourcemanager節點。

[root@bigdata01 hadoop]# vi yarn-site.xml <configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><property><name>yarn.resourcemanager.hostname</name><value>bigdata01</value></property> </configuration>

2.6. workers

修改workers文件，增加所有從節點的主機名，一個一行

[root@bigdata01 hadoop]# vi workers bigdata02 bigdata03

2.7. 修改啟動腳本

修改start-dfs.sh，stop-dfs.sh這兩個腳本文件，在文件前面增加如下內容

[root@bigdata01 hadoop]# cd /data/soft/hadoop-3.2.0/sbin [root@bigdata01 sbin]# vi start-dfs.sh HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root[root@bigdata01 sbin]# vi stop-dfs.sh HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh，stop-yarn.sh這兩個腳本文件，在文件前面增加如下內容

[root@bigdata01 sbin]# vi start-yarn.sh YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root[root@bigdata01 sbin]# vi stop-yarn.sh YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

三、同步初始化

3.1. 安裝包同步

把bigdata01節點上將修改好配置的安裝包拷貝到其他兩個從節點

[root@bigdata01 sbin]# cd /data/soft/ [root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata02:/data/soft/ [root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata03:/data/soft/

由于小文件較多，同步會慢一下，耐心等待一會哈！

3.2. 主節點格式化HDFS

在bigdata01節點上格式化HDFS

[root@bigdata01 soft]# cd /data/soft/hadoop-3.2.0 [root@bigdata01 hadoop-3.2.0]# bin/hdfs namenode -format

如果在后面的日志信息中能看到這一行，則說明namenode格式化成功。

bash common.Storage: Storage directory /data/hadoop_repo/dfs/name has been successfully formatted.

3.3. 啟動集群

在bigdata01節點上執行下面命令

[root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh Starting namenodes on [bigdata01] Last login: Sat Jul 3 10:42:24 CST 2021 from 192.168.92.1 on pts/1 Starting datanodes Last login: Sat Jul 3 11:33:14 CST 2021 on pts/1 bigdata03: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating. bigdata02: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating. Starting secondary namenodes [bigdata01] Last login: Sat Jul 3 11:33:16 CST 2021 on pts/1 Starting resourcemanager Last login: Sat Jul 3 11:33:23 CST 2021 on pts/1 Starting nodemanagers Last login: Sat Jul 3 11:33:39 CST 2021 on pts/1 You have new mail in /var/spool/mail/root [root@bigdata01 hadoop-3.2.0]#

3.4. 驗證集群

分別在3臺機器上執行jps命令，進程信息如下所示：

在bigdata01節點執行

[root@bigdata01 hadoop-3.2.0]# jps 22485 SecondaryNameNode 22214 NameNode 22743 ResourceManager 23082 Jps

在bigdata02節點執行

[root@bigdata02 ~]# jps 26709 DataNode 26822 NodeManager 26939 Jps

在bigdata03節點執行

[root@bigdata03 ~]# jps 16759 DataNode 16874 NodeManager 16990 Jps

3.5. webui

還可以通過webui界面來驗證集群服務是否正常

HDFS webui界面：http://192.168.92.100:9870
YARN webui界面：http://192.168.92.100:8088


至此，hadoop分布式集群安裝成功！

注意：前面這些操作步驟這么多，如果我是新手我怎么知道需要做這些操作呢？不用擔心，官方給提供的有使用說明，也就是我們平時所說的官方文檔，我們平時買各種各樣的東西都是有說明書的，上面會告訴你該怎么使用，這個是最權威最準確的。

那我們來看一下Hadoop的官網文檔:

3.6. Hadoop的客戶端節點

在實際工作中不建議直接連接集群中的節點來操作集群，直接把集群中的節點暴露給普通開發人員是不安全的

建議在業務機器上安裝Hadoop，只需要保證業務機器上的Hadoop的配置和集群中的配置保持一致即可，這樣就可以在業務機器上操作Hadoop集群了，此機器就稱為是Hadoop的客戶端節點

Hadoop的客戶端節點可能會有多個，理論上是我們想要在哪臺機器上操作hadoop集群就可以把這臺機器配置為hadoop集群的客戶端節點。

總結

以上是生活随笔為你收集整理的Hadoop集群安装部署_分布式集群安装_02的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。