戳藍字“CSDN云計算”關注我們哦！

前面我們介紹了在Ubuntu上安裝Hadoop單機版。但是我們知道，Hadoop在實際工作中都是以集群的形式存在的，畢竟需要處理大量的數據，單機的處理速度顯然不能滿足。所以這篇文章我們就來介紹一下如何在Ubuntu上搭建Hadoop集群。

準備階段

三臺在同一局域網內的Linux機器或者虛擬機。

配置好Host文件，讓三臺機器可以通過主機名進行訪問。

三臺機器上都安裝了JDK。

在其中一臺上安裝好Hadoop，安裝方法可以參考前面的文章。

配置SSH免密登錄

你可能很奇怪我要搭建的是Hadoop集群，為啥需要配置SSH免密登錄呢。有兩點原因：

在啟動集群上所有的節點的時候無需重復輸入密碼。

我們在搭建集群的時候需要將Hadoop的文件夾復制到其他機器上，如果是一兩臺的話copy起來很快，

但是如果是幾百臺呢，所以這個時候如果機器之間可以免密登錄的話我們可以很方便的使用腳本完成整個工作。

具體的配置方式可以看下我之前的文章，SSH免密登錄（內含批量配置腳本）

修改單機版的配置文件

1、修改core-site.xml，只需要修改fs.defaultFS配置項即可，hadoop.tmp.dir不需要修改。

2、修改``hdfs-site.xml`，主要是修改HDFS存儲文件副本的數量，之前單機版的時候設置為1，現在改為2（這個配置項默認的配置為2）。

安裝包復制，并設置環境變量

其實在我們搭建好一臺機器的Hadoop環境后只需要下面幾步就可以完成集群環境的搭建了：

將Hadoop的安裝目錄拷貝到其他機器上。

在其他機器上配置Hadoop環境變量。

執行source /etc/profile命令，使得環境變量生效。

修改namenode的slave文件，指定datanode是哪幾臺機器

前面兩步我寫好了腳本，直接執行一下就可以了。第3步中說的slave文件在hadoop的安裝目錄下的etc/hadoop/slave，我這里用的test01和test02兩臺機器做datanode。

腳本地址

附上腳本使用說明

需要保證腳本文件夾中的兩個腳本文件在同一目錄下。

如果Hadoop的安裝目錄不為/root/apps/hadoop/hadoop-2.8.5，則需要修改腳本中hadoop的安裝位置（兩個腳本中都需要修改）。

修改腳本中機器名稱，SERVERS變量。

環境啟動

1、在namenode機器上執行下面的命令

2、在瀏覽器中訪問`http://{機器IP}:50070，查看到如下結果即代表成功。

---------------------?

作者：名字想好沒。?

來源：CSDN?

原文：

https://blog.csdn.net/sinat_27629035/article/details/85561666?

版權聲明：本文為博主原創文章，轉載請附上博文鏈接！

推薦閱讀

• 羅永浩“咬定”微信不放松

• 一篇文章帶你快速理解微服務架構，由淺入深帶你走進微服務架構的核心

• 對不起，我就是喜歡問你Spring構造器注入原理
  

• 程序員有話說 | 程序猿在乘地鐵的時候都在想什么?

• 清華北大“世界排名斷崖式下跌”？

• Spark+Alluxio性能調優十大技巧
  

• 從云計算到AI：NetApp的數據網絡轉型之道
  

1.微信群：

添加小編微信：color_ld，備注“進群+姓名+公司職位”即可，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

喜歡就點擊“好看”吧！

總結

以上是生活随笔為你收集整理的Ubuntu上安装Hadoop集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。