當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hadoop集群搭建修改配置文件（三台主机都要配置）

發(fā)布時(shí)間：2025/3/15 编程问答 23 豆豆

生活随笔收集整理的這篇文章主要介紹了 hadoop集群搭建修改配置文件（三台主机都要配置）小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

hadoop集群搭建 ? ? ?修改配置文件（三臺(tái)主機(jī)都要配置）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? master 主機(jī)配置

1）hadoop-env.sh

vim?hadoop-env.sh

2）core-site.xml

vim core-site.xml

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://backup01:9000</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-3.1.2/tmp</value>
<description>Abase for other temporary directories.</description>
</property>

<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>

</configuration>
?

3）hdfs-site.xml

vim hdfs-site.xml

<configuration>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>backup01:9001</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop-3.1.2/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop-3.1.2/dfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

</configuration>
?

4）mapred-site.xml

vim mapred-site.xml

5）yarn-site.xml

6）workers? ?（slaves節(jié)點(diǎn)配置）

7）start-dfs.sh 和 stop-dfs.sh

cd? ?/usr/local/hadoop/hadoop-3.1.2/sbin

vim start-dfs.sh

vim?stop-dfs.sh

8）start-yarn.sh 和 stop-yarn.sh

vim?start-yarn.sh

vim?stop-yarn.sh

? ?注意：主機(jī)配置完成將master配置copy到其他兩個(gè)slave節(jié)點(diǎn)? ?

總結(jié)

以上是生活随笔為你收集整理的hadoop集群搭建修改配置文件（三台主机都要配置）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。