安裝hadoop要先做以下準(zhǔn)備：

1.jdk，安裝教程在?

http://www.cnblogs.com/stardjyeah/p/4640917.html

2.ssh無(wú)密碼驗(yàn)證，配置教程在?

http://www.cnblogs.com/stardjyeah/p/4641524.html

3.linux靜態(tài)ip配置，教程在?

http://www.cnblogs.com/stardjyeah/p/4640691.html

準(zhǔn)備好以后就可以進(jìn)行hadoop 2.5.0安裝和配置了

1）???????? 解壓hadoop到自己的hadoop目錄

2）???????? 2.X版本較1.X版本改動(dòng)很大，主要是用Hadoop MapReduceV2(Yarn) 框架代替了一代的架構(gòu)，其中JobTracker 和 TaskTracker 不見(jiàn)了，取而代之的是 ResourceManager, ApplicationMaster 與 NodeManager 三個(gè)部分，而具體的配置文件位置與內(nèi)容也都有了相應(yīng)變化，具體的可參考文獻(xiàn)：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

3）???????? hadoop/etc/hadoop/hadoop-env.sh 與 hadoop/etc/hadoop/yarn-env.sh來(lái)配置兩個(gè)文件里的JAVA_HOME

4）???????? 配置etc/hadoop/core-site.xml

<configuration><property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/tmp</value> </property> </configuration>

5）???????? 配置etc/hadoop/hdfs-site.xml ?（注意：這里需要自己手動(dòng)用mkdir創(chuàng)建name和data文件夾，具體位置也可以自己選擇，其中dfs.replication的值建議配置為與分布式 cluster 中實(shí)際的 DataNode 主機(jī)數(shù)一致。）

<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/hdfs/data</value><final>true</final> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.namenode.rpc-address</name> <value>localhost:9000</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>localhost:50090</value> </property> </configuration>

6）???????? 配置etc/hadoop/mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property><property> <name>mapreduce.jobhistory.address</name> <value>localhost:10020</value> </property><property> <name>mapreduce.jobhistory.webapp.address</name> <value>localhost:19888</value> </property><property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/mr-history/tmp</value> </property><property> <name>mapreduce.jobhistory.done-dir</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/mr-history/done</value> </property></configuration>

7）???????? 配置etc/hadoop/yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property><property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>localhost:18040</value> </property><property> <name>yarn.resourcemanager.scheduler.address</name> <value>localhost:18030</value> </property><property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>localhost:18025</value> </property><property> <name>yarn.resourcemanager.admin.address</name> <value>localhost:18041</value> </property><property> <name>yarn.resourcemanager.webapp.address</name> <value>localhost:8088</value> </property><property> <name>yarn.nodemanager.local-dirs</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/mynode/my</value> </property><property> <name>yarn.nodemanager.log-dirs</name> <value>/home/hadoop/hadoop/hadoop-2.5.0/mynode/logs</value> </property><property> <name>yarn.nodemanager.log.retain-seconds</name> <value>10800</value> </property><property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/logs</value> </property><property> <name>yarn.nodemanager.remote-app-log-dir-suffix</name> <value>logs</value> </property><property> <name>yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property><property> <name>yarn.log-aggregation.retain-check-interval-seconds</name> <value>-1</value> </property> </configuration>

8）???????? 啟動(dòng)測(cè)試

先格式化namenode：bin/hdfs dfs namenode –format

如果沒(méi)有報(bào)錯(cuò)則表示成功

啟動(dòng)hdfs：?sbin/start-dfs.sh

Jps查看是否啟動(dòng)了namenode,datanode, SecondaryNameNode

啟動(dòng)yarn：start-yarn.sh

Jps查看是否啟動(dòng)了NodeManager，?ResourceManager

然后登陸8088端口看是否會(huì)出現(xiàn)如下頁(yè)面：

登陸50070看是否會(huì)出現(xiàn)如下頁(yè)面：

登陸50090看是否會(huì)出現(xiàn)如下頁(yè)面：

如果頁(yè)面都出現(xiàn)，則表示hadoop安裝成功！

下面測(cè)試一下hdfs文件系統(tǒng)

建立一個(gè)目錄：bin/hdfs dfs -mkdir /TestDir/

上傳一個(gè)文件：bin/hdfs dfs -put ./test.txt /TestDir/

上傳成功，下面進(jìn)行wordcount測(cè)試

1.dfs上創(chuàng)建input目錄
$bin/hadoop fs -mkdir -p input

2.把hadoop目錄下的test.txt拷貝到dfs新建的input里
$bin/hadoop fs -copyFromLocal test.txt input

3.運(yùn)行WordCount
$bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.0-sources.jar org.apache.hadoop.examples.WordCount input output

4.運(yùn)行完畢后，查看單詞統(tǒng)計(jì)結(jié)果
$bin/hadoop fs -cat output/*

假如程序的輸出路徑為output，如果該文件夾已經(jīng)存在,先刪除
$bin/hadoop dfs -rmr output

查看wordcount結(jié)果如下：

?

轉(zhuǎn)載于:https://www.cnblogs.com/stardjyeah/p/4641554.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的hadoop 2.5.0安装和配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。