四、配置Hadoop集群

Hadoop集群總體規劃

Hadoop集群安裝采用下面步驟：

在Master節點：上傳并解壓Hadoop安裝包 。

在Master節點：配置Hadoop所需configuration配置文件。

在Master節點：拷貝配置好的Hadoop安裝包到其他節點。

在所有節點：創建數據存儲目錄 。

在Master節點：執行HDFS格式化操作。

4.1、上傳并解壓Hadoop安裝包

(這里我已經用Xshell連接到Master結點了)

Hadoop安裝包鏈接：https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取碼：cgnb

上傳

完成后用 ls 指令查看
在這里插入圖片描述
解壓

tar -zxf hadoop-2.6.5.tar.gz -C /opt/

4.2、修改配置文件：hadoop-env.sh

首先進入/opt/hadoop-2.6.5/etc/hadoop/目錄

cd /opt/hadoop-3.1.4/etc/hadoop/

配置hadoop-env.sh

vi hadoop-env.sh

4.3、修改配置文件：core-site.xml & hdfs-site.xml

首先進入/opt/hadoop-2.6.5/etc/hadoop/目錄

cd /opt/hadoop-3.1.4/etc/hadoop/

配置core-site.xml

vi core-site.xml

在<configuration> </configuration>間添加如下

<!--hdfs臨時路徑--> <property><name>hadoop.tmp.dir</name><value>/data/hadoop/tmp</value> </property> <!--hdfs 的默認地址、端口 訪問地址--> <property><name>fs.defaultFS</name><value>hdfs://master:8020</value> </property>

配置hdfs-site.xml

vi hdfs-site.xml

在<configuration> </configuration>間添加如下

<property><name>dfs.namenode.http-address</name><value>master:50070</value> </property> <!-- 副本數--> <property><name>dfs.replication</name><value>3</value></property> <!-- 是否啟用hdfs權限檢查 false 關閉 --><property><name>dfs.permissions.enabled</name><value>false</value></property> <!-- 塊大小,默認字節, 可使用 k m g t p e--><property><name>dfs.blocksize</name><value>134217728</value></property><property><name>dfs.namenode.name.dir</name><value>/data/hadoop/namenode</value></property><property><name>dfs.datanode.name.dir</name><value>/data/hadoop/datanode</value></property>

4.4、修改配置文件：mapred-site.xml & yarn-site.xml & workers

首先進入/opt/hadoop-2.6.5/etc/hadoop/目錄

cd /opt/hadoop-3.1.4/etc/hadoop/

配置mapred-site.xml

vi mapred-site.xml

在<configuration> </configuration>間添加如下

<property><name>mapreduce.framework.name</name><value>yarn</value> </property> <property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.4</value> </property> <property><name>mapreduce.application.classpath</name><value>/opt/hadoop-3.1.4/share/hadoop/mapreduce/*:/opt/hadoop-3.1.4/share/hadoop/mapreduce/lib/*</value> </property>

配置yarn-site.xml

vi yarn-site.xml

在<configuration> </configuration>間添加如下

<!--集群master--> <property><name>yarn.resourcemanager.hostname</name><value>master</value> </property><!-- NodeManager上運行的附屬服務--> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <!-- 關閉內存檢測--> <property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value> </property>

配置workers

vi workers

把里面內容改為

node1 node2 node3

4.5、拷貝Hadoop安裝包

進入/opt目錄，通過指令(依次執行)拷貝到node1、node2、node3目錄
(可以多建立幾個會話，速度會快些)

scp -r hadoop-3.1.4/ node1:/opt/ scp -r hadoop-3.1.4/ node2:/opt/ scp -r hadoop-3.1.4/ node3:/opt/

4.6、創建數據目錄

(依次執行下面語句)

mkdir -p /data/hadoop/tmp mkdir -p /data/hadoop/namenode ssh node1 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode" ssh node2 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode" ssh node3 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode"

4.7、格式化HDFS

進入hadoop安裝下的bin目錄

cd /opt/hadoop-3.1.4/bin/

執行

./hdfs namenode -format demo

格式化完成，集群配置完成

總結

以上是生活随笔為你收集整理的学习笔记Hadoop（七）—— Hadoop集群的安装与部署（4）—— 配置Hadoop集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。