先感嘆一下

準(zhǔn)備

因?yàn)橹耙呀?jīng)有安裝經(jīng)驗(yàn)了（虛擬機(jī)的三節(jié)點(diǎn)分布式，按過幾次），再加上對(duì)Ubuntu還算比較熟悉中間也算少踩了不少坑。因?yàn)檫@次主要是老師要求所以，才打算再自己安裝一次apche hadoop版本，其實(shí)現(xiàn)在我個(gè)人還是更支持CDH搭建大數(shù)據(jù)開發(fā)平臺(tái)的，但是最近時(shí)間略緊，國(guó)慶節(jié)再弄吧。后來想著之前虛擬機(jī)和偽分布式練習(xí)語法已經(jīng)足夠了，這次要來就是直接來能工程運(yùn)用的，于是安裝八節(jié)點(diǎn)的Hadoop-2.7.4版本（目前最新的穩(wěn)定版）硬盤大概留了2.7T可以放數(shù)據(jù)，其實(shí)還可以再改硬盤大小，應(yīng)該還可以擴(kuò)容1T左右，暫時(shí)用個(gè)半年跑跑數(shù)據(jù)練練手還是可以的。

過程

重裝系統(tǒng)和配置IP大概用了半天，唉過程很傷。。。但是更沒想到的是SSH配置了五六個(gè)小時(shí)才好。。希望各位要注意這個(gè)問題，后來就開始配置Hadoop，但是配置文件有點(diǎn)問題，hdfs只有主節(jié)點(diǎn)起來，子節(jié)點(diǎn)都不行。后來又改了一上午，花了四五個(gè)小時(shí)才弄好，對(duì)于這個(gè)我只想說“假文檔”害人啊。不過好在Hadoop搭建起來了，之后再往上搭建HBase，Hive，Pig，Spark什么的就容易多了。不過確實(shí)該考慮一下了，要不要換成CDH了，搭建過程實(shí)際花費(fèi)時(shí)間是我原來預(yù)計(jì)的兩倍半左右，還真是傷啊。

準(zhǔn)備

之前的文章基本已經(jīng)寫清楚了，JDK下載與SSH配置，請(qǐng)看之前的內(nèi)容

正式開始前的要確認(rèn)的

安裝OracleJDK，并確保你知道JDK的安裝位置，參考：http://blog.csdn.net/fontthrone/article/details/77915256

SSH安裝，主節(jié)點(diǎn)對(duì)其他節(jié)點(diǎn)可以無密碼登錄，和無密碼傳輸文件，參考http://blog.csdn.net/fontthrone/article/details/77916630

在hosts中配置好節(jié)點(diǎn)與主機(jī)名字（hostname）

下載Hadoop最新穩(wěn)定版2.7.4：下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/，解壓到/HOME下備用

配置

在主節(jié)點(diǎn)上需要的操作

需要新建文件夾四個(gè)個(gè)，新建與修改文檔兩個(gè)，配置XML文件三個(gè)，配置.sh文件一個(gè)，copy修改XML文件一個(gè)，修改環(huán)境變量一個(gè)

新建四個(gè)文件夾

在hadoop根目錄文件夾下，新建tmp，dfs兩個(gè)文件夾

然后在dfs文件夾下新建data和name兩個(gè)文件之后他們會(huì)被用到

新建與修改文檔兩個(gè)

在~/hadoop-2.7.4/etc/hadoop文件夾下新建masters并添加172.31.55.20 Ubuntu01–這是你主節(jié)點(diǎn)的IP與主機(jī)名字

在該文件夾下的slaves中添加主節(jié)點(diǎn)與分節(jié)點(diǎn)的hostname，不過好像也有的人在配置時(shí)沒有添加主節(jié)點(diǎn)，自己選擇即可

配置XML文件三個(gè)

還是這個(gè)目錄，對(duì)于各個(gè)文件下配置的含義建議你能有先有一定的了解，有本《hadoop權(quán)威指南》最佳，一個(gè)不錯(cuò)的博客系列次之。全網(wǎng)查詢最差，亦不推薦以此入門。

/hadoop-2.7.4/etc/hadoop/

第一個(gè)文件：core-site.xml，在configuration中添加

<!-- Put site-specific property overrides in this file. --><configuration><property><name>hadoop.tmp.dir</name><value>/home/bigdata/hadoop-2.7.4/tmp</value></property><property><name>fs.default.name</name><value>hdfs://172.31.55.20:9000</value></property> </configuration>

第二個(gè)文件：hdfs-site.xml，在configuration中添加

<!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.name.dir</name><value>/home/bigdata/hadoop-2.7.4/dfs/name</value><description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description> </property><property><name>dfs.data.dir</name><value>/home/bigdata/hadoop-2.7.4/dfs/data</value><description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

第三個(gè)文件：yarn-site.xml，在configuration中添加

<configuration><!-- Site specific YARN configuration properties --> <!-- resourcemanager 啟動(dòng)在那臺(tái)機(jī)器上 --><property><name>yarn.resourcemanager.hostname</name><value>Ubuntu01</value></property> </configuration>

配置的.sh文件一個(gè)，

修改hadoop-env.sh文件，在其中找到# The java implementation to use.，并修改下面的JDK地址，例如：export JAVA_HOME=/usr/lib/jvm/java-8-oracle

COPY，并修改的XML文件一個(gè)

還是原來的那個(gè)文件夾，將其中的“mapred-site.xml.template”文件復(fù)制重命名為“mapred-site.xml”文件
在其中配置：

<configuration><property><name>mapreduce.framwork.name</name><value>yarn</value></property><property><name>mapreduce.job.tracker</name><value>172.31.55.20:9001</value></property> </configuration>

打開/etc/profile

添加

export HADOOP_HOME=/home/bigdata/hadoop-2.7.4 export PATH=$PATH:$HADOOP_HOME/bin

生效：source /etc/profile
檢查：

復(fù)制，格式化，啟動(dòng)，檢查，停止

hadoop文件夾復(fù)制到所有分節(jié)點(diǎn)

scp -r /home/bigdata/hadoop-2.7.4 bigdata@Ubuntu02:/home/bigdata/

當(dāng)你某個(gè)文件需要再次修改時(shí)也可以傳輸該文件覆蓋，但是注意當(dāng)原文件夾，文件存在時(shí)都是覆蓋，這和拿U盤復(fù)制覆蓋是一樣的，所以要小心那些覆蓋后遺留下來的那些文件，可能會(huì)妨礙整個(gè)集群的部署

格式化

進(jìn)入hadoop文件夾 bin/hdfs namenode -format

啟動(dòng)

在/hadoop-2.7.4/sbin文件夾下： ./start.sh啟動(dòng)集群

檢查

主節(jié)點(diǎn)終端輸入jps檢查啟動(dòng)的程序

登錄字節(jié)點(diǎn)檢查啟動(dòng)的程序

也可以通過localhost:50070在瀏覽器查看集群信息,第一次登陸只顯示了主節(jié)點(diǎn)的信息?第二次登錄好了,7個(gè)子節(jié)點(diǎn)一共有2.4T+的硬盤容量.

關(guān)閉集群，原文件夾下./stop-all.sh

總結(jié)

以上是生活随笔為你收集整理的Hadoop-2.7.4 八节点分布式集群安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。