hadoop集群搭建 ? ? ?修改配置文件（三臺主機(jī)都要配置）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? master 主機(jī)配置

1）hadoop-env.sh

vim?hadoop-env.sh

?

2）core-site.xml

vim core-site.xml

<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://backup01:9000</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>

<!-- 指定hadoop運(yùn)行時產(chǎn)生文件的存儲路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-3.1.2/tmp</value>
<description>Abase for other temporary directories.</description>
</property>

<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>

</configuration>
?

3）hdfs-site.xml

vim hdfs-site.xml

<configuration>
<!--
<property>
? ? ? ?<name>dfs.namenode.http-address</name>
? ? ? ?<value>backup01:9870</value>
</property>
-->

<!-- 設(shè)置secondarynamenode的http通訊地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>backup01:9001</value>
</property>

<!-- 設(shè)置namenode存放的路徑 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop-3.1.2/dfs/name</value>
</property>

<!-- 設(shè)置datanode存放的路徑 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop-3.1.2/dfs/data</value>
</property>

<!-- 設(shè)置hdfs副本數(shù)量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

</configuration>
?

?

4）mapred-site.xml

vim mapred-site.xml

?

5）yarn-site.xml

6）workers? ?（slaves節(jié)點(diǎn)配置）

7）start-dfs.sh 和 stop-dfs.sh

cd? ?/usr/local/hadoop/hadoop-3.1.2/sbin

vim start-dfs.sh

vim?stop-dfs.sh

8）start-yarn.sh 和 stop-yarn.sh

vim?start-yarn.sh

vim?stop-yarn.sh

?

? ?注意：主機(jī)配置完成將master配置copy到其他兩個slave節(jié)點(diǎn)? ?

總結(jié)

以上是生活随笔為你收集整理的hadoop集群搭建 修改配置文件（三台主机都要配置）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。