hadoop2.6.0+eclipse配置
【0】安裝前的聲明
0.1） 所用節點2個
master : 192.168.119.105 hadoop5
slave : 192.168.119.101 hadoop1
（先用一個slave，跑成功后，在從master分別scp到各個slaves即可】）
0.2） 每個機子的那些個文件需要一樣
（或者直接從master直接scp到各個slaves即可）
vim /etc/hosts（主機名和ip地址映射文件）
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.119.101 hadoop1
192.168.119.102 hadoop2
192.168.119.103 hadoop3
192.168.119.104 hadoop4
192.168.119.105 hadoop5
jdk 解壓目錄
這里統一解壓到 /usr/java/jdk
0.3） 所有master和slaves機子的用戶名全部是hadoop
注意要用hadoop用戶的權限對hadoop的文件配置進行操作
【1】安裝JDK
1.1）解開jdk壓縮包
tar -zvx -f jdk-7u7-linux-x64.tar.gz （解壓縮，-z處理gz, -j 處理 bzip2）
（或許之前，你需要 chmod 755 your_jdk_file）
1.2）配置環境變量
打開/etc/profile，在文件最后輸入下面內容
1.3） source /etc/profile
作用:在當前bash環境下讀取并執行FileName中的命令。
注：該命令通常用命令“.”來替代。
如：source .bash_rc 與 . .bash_rc 是等效的。
注意：source命令與shell scripts的區別是，
source在當前bash環境下執行命令，而scripts是啟動一個子shell來執行命令。這樣如果把設置環境變量（或alias等等）的命令寫進scripts中，就只會影響子shell,無法改變當前的BASH,所以通過文件（命令列）設置環境變量時，要用source 命令。
1.4 )設置新安裝的JDK為默認的JDK
命令行輸入如下命令：
sudo update-alternatives –install /usr/bin/java java /usr/java/jdk/bin/java 300
sudo update-alternatives –install /usr/bin/javac javac /usr/java/jdk/bin/javac 300
sudo update-alternatives –config java
（Attention）–install 和 –config 是兩個 橫線-，
1.5）驗證Java是否安裝成功
輸入 java-version ，輸出Java版本信息即為安裝成功。
【2】SSH 安裝
（google ssh centos 安裝
http://www.cnblogs.com/alaska1131/articles/1659654.html）
（以下配圖中的文字有錯誤，改為：
ssh的公私鑰建立 輸入命令：ｓｓｈ－ｋｅｙｇｅｎ 就可以了（其默認的密鑰生成方式是ｒｓａ） ，
然后三個回車，默認的公私鑰就在家目錄的.ssh文件夾下了。）
2.1）如何使用ssh
ssh的目的就是使用免密碼登陸；
如果在master上，如
Attention）
A1 ) 當ssh安裝后，.ssh 文件夾會自動生成在家目錄（如/home/hadoop下），所有機器的.ssh 的訪問權限必須是700
A2）在.ssh 下的authorized_keys 的權限 必須是644或者600,
A3）ssh會依據.ssh和authorized_keys的權限來判斷是否接受免密碼登陸
【3】Hadoop2.6.0 配置
http://blog.csdn.net/caiandyong/article/details/42815221
http://blog.csdn.net/caiandyong/article/details/44925845
3.1）文件配置 （hadoop解壓文件所放置的目錄，請自行創建）
以下配置文件只需傻瓜式的copy and paste
vim slaves （有多少個slaves 就寫對應的主機名）
hadoop1
hadoop2 （若從master scp到slaves(hadoop2的話)）
vim hadoop-env.sh 末尾追加
export JAVA_HOME=/usr/java/jdk
export HADOOP_PREFIX=/home/hadoop/hadoop
【Complementary】
從master（hadoop5） scp hadoop framework到 slave（hadoop2）
1) jump到hadoop5的家目錄
2) scp -r hadoop/ hadoop@hadoop2:~/
3) scp -r /usr/java/jdk/ hadoop@hadoop2:~ ；
and then
sudo cp -r ~/jdk /usr/java/；
You Should Know: (when execute scp operation from master to slave)
1) 修改 hadoop/etc/hadoop/slaves 添加hadoop2 這是slave的主機
2) 修改hadoop/etc/hadoop/hdfs-site.xml 將 dfs.replication 修改為2
3.2）格式化hdfs （slave端 不需要此operation）
bin/hdfs namenode -format
3.3）開啟所有進程 （slave端 不需要此operation）
sbin/start-all.sh
or 關閉所有進程 sbin/stop-all.sh
3.4) 訪問
hdfs的 web頁面 http://192.168.119.101:50070/dfshealth.html#tab-overview
hadoop 的 節點 web頁面 http://192.168.119.101:8088/cluster/nodes
【Attention】
如果要重新格式化，請吧hdfs的文件夾 namenode,datanode and hadooptmp 文件夾里面的內容清空干凈
rm -r * ，然后在重新格式化，啟動所有進程，等等。
3.5）最后的效果（缺一不可）
如果scp master（hadoop5）上面的hadoop framwork 到 slave2（hadoop2）上的話，
那么你會看到：
至此，hadoop集群搭建完畢。
3.6） 兩個節點的集群啟動（補充）
首先，我們用到了一個master（hadoop5）和一個slave（hadoop1），后來，我們又添加了一個slave（hadoop2）， 我們看看兩個節點的啟動效果。
Bingo !
【4】CentOS上安裝eclipse IDE工具（只為方便調試java程序） + hadoop 集成
4.1） 下載eclipse 官網
并傳送到centos上，推薦使用 lrzsz 這個工具（centos 上安裝）
lrzsz 使用實例
安裝lrzsz （receive 和 send）
yum install lrzsz
rz r就是receive linux服務器接收。 也就是 windows上傳文件。
如圖，輸入rz會調出一個對話框，可以選擇你需要上傳的文件
sz r就是Send linux服務器發送。 也就是 windows下載文件。
如圖，輸入sz 后面接上你需要發送的文件 或文件夾。
4.2） 解壓即可，放置到/usr/local/
4.3）下載插件 hadoop-eclipse-plugin-2.6.0.jar
并放置到 /usr/local/eclipse/plugins
4.4） 配置eclipse 和 MapReduce IDE
創建項目完成，接下來，你就開始coding吧。
總結
以上是生活随笔為你收集整理的hadoop2.6.0+eclipse配置的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 如何导入hadoop源码到eclipse
- 下一篇： 如何撰写论文