学习笔记Hadoop(七)—— Hadoop集群的安装与部署(4)—— 配置Hadoop集群
四、配置Hadoop集群
Hadoop集群總體規劃
Hadoop集群安裝采用下面步驟:
4.1、上傳并解壓Hadoop安裝包
(這里我已經用Xshell連接到Master結點了)
Hadoop安裝包鏈接:https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取碼:cgnb
上傳
完成后用 ls 指令查看
在這里插入圖片描述
解壓
4.2、修改配置文件:hadoop-env.sh
首先進入/opt/hadoop-2.6.5/etc/hadoop/目錄
cd /opt/hadoop-3.1.4/etc/hadoop/配置hadoop-env.sh
vi hadoop-env.sh4.3、修改配置文件:core-site.xml & hdfs-site.xml
首先進入/opt/hadoop-2.6.5/etc/hadoop/目錄
cd /opt/hadoop-3.1.4/etc/hadoop/配置core-site.xml
vi core-site.xml在<configuration> </configuration>間添加如下
<!--hdfs臨時路徑--> <property><name>hadoop.tmp.dir</name><value>/data/hadoop/tmp</value> </property> <!--hdfs 的默認地址、端口 訪問地址--> <property><name>fs.defaultFS</name><value>hdfs://master:8020</value> </property>
配置hdfs-site.xml
在<configuration> </configuration>間添加如下
<property><name>dfs.namenode.http-address</name><value>master:50070</value> </property> <!-- 副本數--> <property><name>dfs.replication</name><value>3</value></property> <!-- 是否啟用hdfs權限檢查 false 關閉 --><property><name>dfs.permissions.enabled</name><value>false</value></property> <!-- 塊大小,默認字節, 可使用 k m g t p e--><property><name>dfs.blocksize</name><value>134217728</value></property><property><name>dfs.namenode.name.dir</name><value>/data/hadoop/namenode</value></property><property><name>dfs.datanode.name.dir</name><value>/data/hadoop/datanode</value></property>4.4、修改配置文件:mapred-site.xml & yarn-site.xml & workers
首先進入/opt/hadoop-2.6.5/etc/hadoop/目錄
cd /opt/hadoop-3.1.4/etc/hadoop/配置mapred-site.xml
vi mapred-site.xml在<configuration> </configuration>間添加如下
<property><name>mapreduce.framework.name</name><value>yarn</value> </property> <property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.4</value> </property> <property><name>mapreduce.application.classpath</name><value>/opt/hadoop-3.1.4/share/hadoop/mapreduce/*:/opt/hadoop-3.1.4/share/hadoop/mapreduce/lib/*</value> </property>配置yarn-site.xml
vi yarn-site.xml在<configuration> </configuration>間添加如下
<!--集群master--> <property><name>yarn.resourcemanager.hostname</name><value>master</value> </property><!-- NodeManager上運行的附屬服務--> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <!-- 關閉內存檢測--> <property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value> </property>配置workers
vi workers把里面內容改為
node1 node2 node34.5、拷貝Hadoop安裝包
進入/opt目錄,通過指令(依次執行)拷貝到node1、node2、node3目錄
(可以多建立幾個會話,速度會快些)
4.6、創建數據目錄
(依次執行下面語句)
mkdir -p /data/hadoop/tmp mkdir -p /data/hadoop/namenode ssh node1 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode" ssh node2 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode" ssh node3 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode"4.7、格式化HDFS
進入hadoop安裝下的bin目錄
cd /opt/hadoop-3.1.4/bin/執行
./hdfs namenode -format demo
格式化完成,集群配置完成
總結
以上是生活随笔為你收集整理的学习笔记Hadoop(七)—— Hadoop集群的安装与部署(4)—— 配置Hadoop集群的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 学习笔记Hadoop(六)—— Hado
- 下一篇: 学习笔记Hadoop(八)—— Hado