先感嘆一下

準(zhǔn)備

因為之前已經(jīng)有安裝經(jīng)驗了（虛擬機的三節(jié)點分布式，按過幾次），再加上對Ubuntu還算比較熟悉中間也算少踩了不少坑。因為這次主要是老師要求所以，才打算再自己安裝一次apche hadoop版本，其實現(xiàn)在我個人還是更支持CDH搭建大數(shù)據(jù)開發(fā)平臺的，但是最近時間略緊，國慶節(jié)再弄吧。后來想著之前虛擬機和偽分布式練習(xí)語法已經(jīng)足夠了，這次要來就是直接來能工程運用的，于是安裝八節(jié)點的Hadoop-2.7.4版本（目前最新的穩(wěn)定版）硬盤大概留了2.7T可以放數(shù)據(jù)，其實還可以再改硬盤大小，應(yīng)該還可以擴容1T左右，暫時用個半年跑跑數(shù)據(jù)練練手還是可以的。

過程

重裝系統(tǒng)和配置IP大概用了半天，唉過程很傷。。。但是更沒想到的是SSH配置了五六個小時才好。。希望各位要注意這個問題，后來就開始配置Hadoop，但是配置文件有點問題，hdfs只有主節(jié)點起來，子節(jié)點都不行。后來又改了一上午，花了四五個小時才弄好，對于這個我只想說“假文檔”害人啊。不過好在Hadoop搭建起來了，之后再往上搭建HBase，Hive，Pig，Spark什么的就容易多了。不過確實該考慮一下了，要不要換成CDH了，搭建過程實際花費時間是我原來預(yù)計的兩倍半左右，還真是傷啊。

準(zhǔn)備

之前的文章基本已經(jīng)寫清楚了，JDK下載與SSH配置，請看之前的內(nèi)容

正式開始前的要確認的

安裝OracleJDK，并確保你知道JDK的安裝位置，參考：http://blog.csdn.net/fontthrone/article/details/77915256

SSH安裝，主節(jié)點對其他節(jié)點可以無密碼登錄，和無密碼傳輸文件，參考http://blog.csdn.net/fontthrone/article/details/77916630

在hosts中配置好節(jié)點與主機名字（hostname）

下載Hadoop最新穩(wěn)定版2.7.4：下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/，解壓到/HOME下備用

配置

在主節(jié)點上需要的操作

需要新建文件夾四個個，新建與修改文檔兩個，配置XML文件三個，配置.sh文件一個，copy修改XML文件一個，修改環(huán)境變量一個

新建四個文件夾

在hadoop根目錄文件夾下，新建tmp，dfs兩個文件夾

然后在dfs文件夾下新建data和name兩個文件之后他們會被用到

新建與修改文檔兩個

在~/hadoop-2.7.4/etc/hadoop文件夾下新建masters并添加172.31.55.20 Ubuntu01–這是你主節(jié)點的IP與主機名字

在該文件夾下的slaves中添加主節(jié)點與分節(jié)點的hostname，不過好像也有的人在配置時沒有添加主節(jié)點，自己選擇即可

配置XML文件三個

還是這個目錄，對于各個文件下配置的含義建議你能有先有一定的了解，有本《hadoop權(quán)威指南》最佳，一個不錯的博客系列次之。全網(wǎng)查詢最差，亦不推薦以此入門。

/hadoop-2.7.4/etc/hadoop/

第一個文件：core-site.xml，在configuration中添加

<!-- Put site-specific property overrides in this file. --><configuration><property><name>hadoop.tmp.dir</name><value>/home/bigdata/hadoop-2.7.4/tmp</value></property><property><name>fs.default.name</name><value>hdfs://172.31.55.20:9000</value></property> </configuration>

第二個文件：hdfs-site.xml，在configuration中添加

<!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.name.dir</name><value>/home/bigdata/hadoop-2.7.4/dfs/name</value><description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description> </property><property><name>dfs.data.dir</name><value>/home/bigdata/hadoop-2.7.4/dfs/data</value><description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

第三個文件：yarn-site.xml，在configuration中添加

<configuration><!-- Site specific YARN configuration properties --> <!-- resourcemanager 啟動在那臺機器上 --><property><name>yarn.resourcemanager.hostname</name><value>Ubuntu01</value></property> </configuration>

配置的.sh文件一個，

修改hadoop-env.sh文件，在其中找到# The java implementation to use.，并修改下面的JDK地址，例如：export JAVA_HOME=/usr/lib/jvm/java-8-oracle

COPY，并修改的XML文件一個

還是原來的那個文件夾，將其中的“mapred-site.xml.template”文件復(fù)制重命名為“mapred-site.xml”文件
在其中配置：

<configuration><property><name>mapreduce.framwork.name</name><value>yarn</value></property><property><name>mapreduce.job.tracker</name><value>172.31.55.20:9001</value></property> </configuration>

打開/etc/profile

添加

export HADOOP_HOME=/home/bigdata/hadoop-2.7.4 export PATH=$PATH:$HADOOP_HOME/bin

生效：source /etc/profile
檢查：

復(fù)制，格式化，啟動，檢查，停止

hadoop文件夾復(fù)制到所有分節(jié)點

scp -r /home/bigdata/hadoop-2.7.4 bigdata@Ubuntu02:/home/bigdata/

當(dāng)你某個文件需要再次修改時也可以傳輸該文件覆蓋，但是注意當(dāng)原文件夾，文件存在時都是覆蓋，這和拿U盤復(fù)制覆蓋是一樣的，所以要小心那些覆蓋后遺留下來的那些文件，可能會妨礙整個集群的部署

格式化

進入hadoop文件夾 bin/hdfs namenode -format

啟動

在/hadoop-2.7.4/sbin文件夾下： ./start.sh啟動集群

檢查

主節(jié)點終端輸入jps檢查啟動的程序

登錄字節(jié)點檢查啟動的程序

也可以通過localhost:50070在瀏覽器查看集群信息,第一次登陸只顯示了主節(jié)點的信息?第二次登錄好了,7個子節(jié)點一共有2.4T+的硬盤容量.

關(guān)閉集群，原文件夾下./stop-all.sh

總結(jié)

以上是生活随笔為你收集整理的Hadoop-2.7.4 八节点分布式集群安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。