1. 首先用五臺(tái)機(jī)器搭建分布式，一個(gè)為master，剩下四個(gè)分別為slave01、slave02、slave03， slave04。

2. 修改機(jī)器名

? ? 五臺(tái)機(jī)器分別都執(zhí)行sudo vim /etc/hostname命令，將文件中的內(nèi)容分別改為master、slave01、slave02、slave03， slave04。

3. 重啟機(jī)器，發(fā)現(xiàn)機(jī)器名修改成功。

4. 修改master的hosts文件，并拷貝到每臺(tái)slave上。

? ? （1）修改hosts文件

? ? ? ? ? ? ??sudo vim /etc/hosts

5.?將hosts文件拷貝到另外兩臺(tái)臺(tái)機(jī)器上，覆蓋原來(lái)的hosts文件。

? ? master：

? ? ? ? ? ?scp /etc/hosts hadoop@slave01的IP:~

? ? ? ? ? ?scp /etc/hosts hadoop@slave02的IP:~

? ? ? ? ? ?scp /etc/hosts hadoop@slave03的IP:~

? ? ? ? ? ?scp /etc/hosts hadoop@slave04的IP:~

? ? ?slaver：

? ? ? ? ? ?sudo mv hosts /etc/hosts

6.? 配置master免密登錄

? ? ?master：

? ? ? ? ? ??ssh-keygen -t rsa

? ? ? ? ? ??cat .ssh/id_rsa.pub >> .ssh/authorized_keys

? ? ? ? ? ? scp .ssh/id_rsa.pub hadoop@slave01的IP:~/

? ? ? ? ? ? scp .ssh/id_rsa.pub hadoop@slave02的IP:~/

? ? ? ? ? ? scp .ssh/id_rsa.pub hadoop@slave03的IP:~/

? ? ? ? ? ? scp .ssh/id_rsa.pub hadoop@slave04的IP:~/

? ? ? slave:

? ? ? ? ? ? cat id_rsa.pub >> .ssh/authorized_keys

7. 將hadoop-2.7.6文件從本地拖拽到虛擬機(jī)桌面，然后移動(dòng)到/opt，然后進(jìn)行解壓。

? ??sudo mv hadoop-2.7.6.tar.gz /opt

? ? cd /opt

? ??sudo tar -zxvf hadoop-2.7.6.tar.gz

8. 編輯配置文件

? ? （1）編輯hadoop-env.sh文件

? ? ? ? ? ? ?sudo vim hadoop-env.sh

? ? ? ? ? ? 改為：

? （2）編輯core-site.xml文件

? ? ? ? ? ?sudo vim core-site.xml

? （3）編輯mapred-site.xml文件??

? ? ? ? ? ?首先應(yīng)通過(guò)復(fù)制mapred-site.xml.template得到mapred-site.xml文件，然后再進(jìn)行編輯。

? ? ? ? ? ? cp?mapred-site.xml.template?mapred-site.xml

? ? ? ? ? ? sudo vim mapred-site.xml

? （4）編輯hdfs-site.xml文件

? ? ? ? ? ?sudo vim hdfs-site.xml

? （5）編輯masters文件

? ? ? ? ? ?sudo vim masters

? ? ? ? ? ?添加masters的IP地址到該文件

? （6）編輯slaves文件

? ? ? ? ? ?sudo vim slaves

? ? ? ? ? ?添加slave01、slave02、slave03、slave04的IP地址到該文件，并且刪除localhost

9. 將配置文件拷貝到到各臺(tái)slave

? ? master：

? ? ? ? ? ?scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves hadoop@slave的IP地址:~

? ??slave：

? ? ? ? ? ? sudo mv *.xml /opt/hadoop-2.7.6/etc/hadoop

? ? ? ? ? ? sudo mv?hadoop-env.sh?masters slaves?/opt/hadoop-2.7.6/etc/hadoop

10. 設(shè)置環(huán)境變量

? ?? ?master：

? ? ? ? ? ? master上配置環(huán)境變量，然后將文件發(fā)給各臺(tái)slave

? ? ? ? ? ??sudo vim /etc/profile

? ? ? ? ? ? source /etc/profile

? ? ? ? ? ? scp /etc/profile hadoop@slave的ip地址:~

? ? ? ?slave:

? ? ? ? ? ? sudo mv profile /etc/profile

? ? ? ? ? ??source /etc/profile

11. 更改hadoop-2.7.6的所屬人和所屬組（root用戶）

? ? ? chown hadoop:hadoop -R hadoop-2.7.6/

? ? ? chmod 775? -R hadoop-2.7.6/

12. master格式化namenode

? ? ? ./hdfs namenode -format

? ? ? ?注：只格式化一次，若格式化多次可能導(dǎo)致VERSION不一致，啟動(dòng)namenode和datanode時(shí)報(bào)錯(cuò)。

? ? ? ? ? ? ? 解決方法：

? ? ? ? ? ? ? ① 見(jiàn)https://blog.csdn.net/czw698/article/details/50507265

? ? ? ? ? ? ? ② 刪除存name和data的目錄，再重新格式化

13. 運(yùn)行hadoop

? ? ? ?./start-all.sh

14. 查看進(jìn)程

? ? ? jps

? ? ? master進(jìn)程：

? ? ? slave進(jìn)程：

15. 停止hadoop

? ? ? ?./stop-all.sh

? ? ? ? ? ?這里報(bào)錯(cuò)是因?yàn)榉阑饓?wèn)題，自己配置可能會(huì)出問(wèn)題，可以選擇關(guān)閉防火墻。

總結(jié)：搭建集群時(shí)，所有機(jī)器要擁有共同的用戶，從而避免權(quán)限不夠的錯(cuò)誤；并且配置以及版本都應(yīng)相同，否則可能會(huì)出現(xiàn)錯(cuò)誤，尤其是在ssh免密登錄時(shí)可能出現(xiàn)的錯(cuò)誤最多。

總結(jié)

以上是生活随笔為你收集整理的Hadoop分布式集群搭建详细过程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。