http://bbs.itcast.cn/thread-17487-1-1.html

、硬件環(huán)境1、windows7旗艦版64位
2、VMwareWorkstationACE版6.0.2
3、RedhatLinux5
4、Hadoop-1.2.0

Windows	VM	[url=]虛擬機(jī)器Linux[/url]	IP	作用
Window7 64位	VMwareWorkstation	Redhat1	192.168.24.250	NameNode、master、jobTracker
		Redhat2	192.168.24.249	DataNode、slave、taskTracker
		Redhat3	192.168.24.248	DataNode、slave、taskTracker

三、安裝VMwareWorkstation和RedhatLinux5
1、VMwareWorkstation和RedhatLinux5的安裝，網(wǎng)上到處都是，我也是在網(wǎng)上隨便找的，你可以找寫得更詳細(xì)準(zhǔn)確的，這里不再贅述，可參考：



注：當(dāng)你在虛擬機(jī)上安裝完一個(gè)Linux后，不要重復(fù)安裝步驟，使用虛擬機(jī)帶的克隆功能，可以很容易復(fù)制出多臺一模一樣的Linux。
可參考：



完成這一步驟后的效果


四、安裝配置Hadoop
1、安裝hadoop前先配置Linux
（1）更改三臺機(jī)器的網(wǎng)絡(luò)連接方式

選中要更改的虛擬機(jī)，右擊-設(shè)置（Settings）



（2）以root用戶登錄Linux，設(shè)置IP地址和默認(rèn)網(wǎng)關(guān)（三臺機(jī)器都要設(shè)置）


輸入vi/etc/sysconfig/network-scripts/ifcfg-eth0，（vi的使用不再贅述，不懂自己網(wǎng)上查）修改該文件內(nèi)容為：

DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes


IP地址和默認(rèn)網(wǎng)關(guān)根據(jù)自己需要進(jìn)行設(shè)置

（3）配置虛擬機(jī)的主機(jī)名（三臺機(jī)器都要設(shè)置）

輸入vi/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1

（4）配置主機(jī)名與ip地址的對應(yīng)關(guān)系（三臺機(jī)器都要設(shè)置）

輸入vi/etc/hosts

127.0.0.1localhost
192.168.24.250redhat1
192.168.24.249redhat2
192.168.24.248redhat3



這是標(biāo)準(zhǔn)內(nèi)容。去掉多余的，否則可能出現(xiàn)Hadoop在master查看livenodes為0


（5）關(guān)閉防火墻（三臺機(jī)器都要設(shè)置）

輸入chkconfigiptablesoff開機(jī)不啟動(dòng)防火墻
輸入serviceiptablesstop關(guān)閉當(dāng)前防火墻服務(wù)


當(dāng)然也可以設(shè)置防火墻對hadoop放行，為了簡單起見，我這里就直接關(guān)閉防火墻了。

（6）測試網(wǎng)絡(luò)是否聯(lián)通
設(shè)置完成之后，在每臺虛擬機(jī)之間執(zhí)行ping命令，保證虛擬機(jī)之間網(wǎng)絡(luò)沒有問題
如：ping192.168.24.249

2、建立linux之間ssh無密碼登錄




到此為止，鋪墊工作算是做完了。

3、安裝和配置JDK（三臺機(jī)器都要安裝）




4、安裝hadoop（三臺機(jī)器都要安裝）
（1）到hadoop官網(wǎng)下載hadoop1.2.0
（2）使用ftp上傳到linux，如果不懂，可以參考我的文章：

（3）解壓安裝
進(jìn)入hadoop-1.2.0.tar.gz所在的目錄
輸入：
tar-zvxfhadoop-1.2.0.tar.gz

即安裝完畢

5、配置Hadoop（三臺機(jī)器都要設(shè)置）
（1）配置hadoop環(huán)境變量
和設(shè)置jdk環(huán)境變量一樣

命令：vi/etc/profile
在文件最后輸入：
exportHADOOP_HOME=/usr/local/hadoop-1.2.0
exportPATH=$PATHHADOOP_HOME/bin


執(zhí)行命令source/etc/profile使profile生效



（2）配置hadoop運(yùn)行參數(shù)

更改hadoop安裝路徑下/conf/hadoop-env.sh的文件（三臺機(jī)器都要設(shè)置）

第9行加入exportJAVA_HOME=/usr/java/jdk1.7.0_21

更改hadoop安裝路徑/conf/masters和slaves兩個(gè)文件。（只配置192.168.24.250虛擬機(jī)）
masters中輸入：192.168.24.250
slaves中輸入：
192.168.24.249
192.168.24.248

配置hadoop安裝路徑/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三個(gè)文件。(三臺機(jī)器都要設(shè)置)

core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.24.250:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
</configuration>


hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>


mapred-site.xml：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.24.250:9001</value>
</property>
</configuration>


（3）格式化文件系統(tǒng)
命令：Hadoopnamenode–format


至此hadoop已經(jīng)安裝配置完畢了。

五、測試

1、啟動(dòng)hadoop
在192.168.24.250機(jī)器上執(zhí)行如下指令，啟動(dòng)hadoop安裝目錄bin下：
Start-all.sh
對于hadoop來說，啟動(dòng)所有進(jìn)程是鼻血的，但是如果有必要，你依然可以只啟動(dòng)HDFS（start-dfs）或MapReduce（start-mapred.sh）


Web瀏覽器監(jiān)視HDFS文件系統(tǒng)狀態(tài)和MAPREDUCE執(zhí)行任務(wù)的情況。
HDFS文件系統(tǒng)









2、運(yùn)行hadoop自帶的wordcount示例

依次執(zhí)行命令：
echo“Itisadog”>input1
echo"itisnotadog">input2
hadoopfs-mkdirinput
hadoopfs-copyFromLocal/root/input*input
hadoopjar/usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jarwordcountinputoutput

可以查看運(yùn)行狀態(tài)



查看運(yùn)行結(jié)果



至此全部成功！

六、總結(jié)
利用多臺虛擬機(jī)模擬的hadoop集群環(huán)境基本搞定，剩下的就是根據(jù)需要再做詳細(xì)的配置了。如果要移植到物理存在的機(jī)器上，只需把虛擬機(jī)上的安裝方式直接搬過去用就可以了。
接下來，還會(huì)繼續(xù)出一篇文章介紹eclipse連接遠(yuǎn)程hadoop集群進(jìn)行開發(fā)，其中也涉及一些比較麻煩的問題，不過幸好都解決了，馬上整理出來，期待吧。

轉(zhuǎn)載于:https://blog.51cto.com/1161384/1309017

總結(jié)

以上是生活随笔為你收集整理的hadoop-1.2.0集群安装与配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。