該環(huán)境在Vmware Workstation 12 上安裝配置一共三臺機器master,slave1,slave2.

操作系統：Cenos 7.0

hadoop 版本：hadoop-0.20.2，版本比較老，資料比較多，便于入門學習。

官網找不到可以在http://pan.baidu.com/s/1eQFFBH4下載。

1.基本環(huán)境準備(3臺機器)

VMware上生成三臺裝有centos 7的機器，主機名分別命名為master，slave1， slave2。（時間可以通過復制的方式）

網絡配置：每個節(jié)點都配置靜態(tài)IP。修改/etc/hosts文件：

　　　　192.168.2.1 master

　　　　192.168.2.2 slave1

　　　　192.168.2.3 slave2　

2.java環(huán)境配置（3臺機器）（由于不清楚默認的java安裝環(huán)境，這里重新安裝配置了jdk1.6.0_45）

查看本機上安裝的java ? java -version ?rpm -qa | grep java

卸載 yum ?-y remove java

下載安裝jdk：http://download.csdn.net/download/javahr/7291125

降下的修改為可執(zhí)行文件：chmod +x ?javaXXX.bin

運行 ./jdk-6u45-linux-x64.bin

便于管理，將java安裝到/usr/java ? ? mkdir /usr/java ? ? ? ? mv ?jdk1.6.0_45 ?/usr/java

配置環(huán)境變量：在～/.bashrc 文件中加入 ?

　　　　export JAVA_HOME=/usr/java/jdk1.6.0_45
　　　　export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　　　export PATH=$PATH:$JAVA_HOME/bin

? ? ? ? ?8.javac 查看安裝結果

3.ssh免密碼登陸

? ? 這是集群配置中很基礎的部分，就不多寫了，很簡單，但是很中要。最后的結果是人任意兩個節(jié)點之間可以免密碼登陸，在master結點上ssh slave1?ssh slave2,ssh master...

3.Hadoop-0.20.2安裝配置（在一臺機器上安裝配置好后復制到其他節(jié)點上，少量修改即可）

　1.hadoop的安裝很簡單，只需在上面的鏈接中下載hadoop源碼，選個合適的目錄解壓縮就可以了。

　　tar -xzvf?hadoop-0.20.2.tar.gz

? ? ? ?mv hadoop-0.20.2 ? /home/hadoop/ ?(我的安裝目錄)

? ?2.hadoop的配置內容比較多，這里介紹幾個重要的：

? ? ? ? ? （1）vim ?~/.bashrc 增加

? ? ? ? ? ? ? ??export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

　　　　export JAVA_HOME=/usr/java/jdk1.6.0_45

　　　　export JRE_HOME=$JAVA_HOME/jre

　　　　export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
　　　　export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin

? ? ? ? （2）vim ?$HADOOP_HOME/conf/hadoop-env.sh

? ? ? ? ? ? ? ?# The java implementation to use. Required.

　　　　export JAVA_HOME=/usr/java/jdk1.6.0_45

　　 ?(3)vim?$HADOOP_HOME/conf/core-site.xml

　　　　<configuration>

　　　　<property><name>fs.default.name</name><value>hdfs://master:9000</value></property> ? ? ? ? #復制
　　　　</configuration>

? ? ? ? （4）vim?$HADOOP_HOME/conf/hdfs-site.xml ??

　　　　<configuration>

　　　　<property><name>dfs.replication</name><value>2</value></property> ? //副本數
　　　　<property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property> ? ? ?//本地數據存儲目錄，自己設置
　　　　<property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property>?
　　　　</configuration>

? ? ? ? （5）vim??$HADOOP_HOME/conf/mapred-site.xml

　　　　<configuration>

　　　　<property><name>mapred.job.tracker</name><value>master:9001</value></property> ? ?//復制
　　　　</configuration>

　　?(6)vim master

? ? ? ? ? ? ?master

? ? ? ? ?(7)slaves

　　　 ?slave1

　　　 slave2

?3.啟動。在hadoop安裝目錄的bin子目錄下有些腳本用于hadoop的啟動和關閉。

? ?執(zhí)行hadoop namenode -formate 格式化文件系統

? ?執(zhí)行start-all.sh 啟動后臺進程。

? 4.查看安裝結果。在jdk的安裝目錄的bin子目錄下的jps命令。可用于檢查后臺進程，如果進程都看啟動了，表明安裝成功了。

? ? ?? ?

5.?? 通過hadoop安裝目錄下的bin子目錄里的start-all.sh啟動后臺進程。

? 運行hadoop dfsadmin -report 查看個節(jié)點運行狀態(tài)

? 或在瀏覽器上輸入http：//192.168.2.1：50070（master節(jié)點IP） ? http：//192.168.2.1：5530（查看jobtracker）

?

? ? ? ? ? ???

? ? ?

?

轉載于:https://www.cnblogs.com/wxquare/p/4841294.html

總結

以上是生活随笔為你收集整理的hadoop-0.20.2安装配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。