下面介紹myeclipse與hadoop的集成。

我用的myeclipse版本是8.5.

1、安裝hadoop開(kāi)發(fā)插件

在hadoop1.2.1版本的安裝包c(diǎn)ontrib/目錄下，已經(jīng)不再提供hadoop-eclipse-pligin-1.2.1.jar;

而是提供了源代碼文件，需要我們自行重新編譯成jar包文件；這里方便，大家可以從這里下載：

hadoop-eclipse-plugin-1.2.1.jar.pdf

由于博客上傳文件的類(lèi)型限制，故添加了pdf后綴，下載之后重命名，去掉".pdf"即可。

然后將該文件拷貝到myeclipse根目錄下/dropins目錄下。

2、設(shè)置myeclipse

啟動(dòng)myeclipse，打開(kāi)Perspective；

【W(wǎng)indow】->【Open?Perspective】->【Other...】->【Map/Reduce】->【OK】

然后打開(kāi)View：

【W(wǎng)indow】->【Show?View】->【Other...】->【MapReduce?Tools】->【Map/Reduce?Locations】->【OK】

然后，添加Hadoop location，在Map/Reduce locations下面的空白處單擊右鍵：

（我這里已經(jīng)建了一個(gè)，所以會(huì)有一條，第一次建，應(yīng)該是空白的）

然后選擇edit hadoop location

location name: 我填寫(xiě)的是：first-hadoop
Map/Reduce Master 這個(gè)框里
Host：就是jobtracker 所在的集群機(jī)器，這里寫(xiě)localhost
Hort：就是jobtracker 的port，這里寫(xiě)的是9001
這兩個(gè)參數(shù)就是mapred-site.xml里面mapred.job.tracker里面的ip和port?

?
DFS Master 這個(gè)框里
Host：就是namenode所在的集群機(jī)器，這里寫(xiě)localhost
Port：就是namenode的port，這里寫(xiě)9000
這兩個(gè)參數(shù)就是core-site.xml里面fs.default.name里面的ip和port

（Use M/R master host，這個(gè)復(fù)選框如果選上，就默認(rèn)和Map/Reduce Master這個(gè)框里的host一樣，如果不選擇，就可以自己定義輸入，這里jobtracker 和namenode在一個(gè)機(jī)器上，所以是一樣的，就勾選上）

?user name：這個(gè)是連接hadoop的用戶(hù)名，我的是ldm。
然后點(diǎn)擊finish按鈕，此時(shí)，這個(gè)視圖中就有多了一條記錄。

重啟myeclipse并重新編輯剛才建立的那個(gè)連接記錄，現(xiàn)在我們編輯advance parameters tab頁(yè)

這里大部分的屬性都已經(jīng)自動(dòng)填寫(xiě)上了，其實(shí)就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置屬性展示出來(lái)。

因?yàn)樵诎惭bhadoop的時(shí)候，其site系列配置文件里有改動(dòng)，所以這里也要弄成一樣的設(shè)置。

主要關(guān)注的有以下屬性：
fs.defualt.name：這個(gè)在General tab頁(yè)已經(jīng)設(shè)置了
mapred.job.tracker：這個(gè)在General tab頁(yè)也設(shè)置了
dfs.replication：這個(gè)這里默認(rèn)是3，因?yàn)槲以趆dfs-site.xml里面設(shè)置成了1，所以這里也要設(shè)置成1?
然后點(diǎn)擊finish，然后就連接上了（先要啟動(dòng)sshd服務(wù)，啟動(dòng)hadoop進(jìn)程），連接上的標(biāo)志如圖：

3、wordcount實(shí)例

新建Map/Reduce?Project:

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce?Project】->

【Project?name:?WordCount】->【Configure?Hadoop?install?directory...】->【Hadoop?installation?directory:?c:\cygwin64\home\ldm\hadoop】

->【Apply】->【OK】->【Next】->【Allow?output?folders?for?source?folders】->【Finish】

新建WordCount類(lèi)：

然后將hadoop安裝包中實(shí)例WordCount.java類(lèi)中的代碼拷入。

接下來(lái)，新建一個(gè)文件夾input，新建兩個(gè)文件input/file1，input/file2;

文件內(nèi)容分別為Hello?World?Bye?World和Hello?Hadoop?Goodbye?Hadoop

然后在cygwin終端中運(yùn)行命令：hadoop?fs?-put?input?input

將文件夾input上傳到分布式文件系統(tǒng)中，命令中的路徑根據(jù)自己路徑為準(zhǔn)。

配置運(yùn)行參數(shù)：

①在新建的項(xiàng)目WordCount，點(diǎn)擊WordCount.java，右鍵-->Run As-->Run Configurations?
②在彈出的Run Configurations對(duì)話(huà)框中，點(diǎn)Java Application，右鍵-->New，這時(shí)會(huì)新建一個(gè)application名為WordCount?
③配置運(yùn)行參數(shù)，點(diǎn)Arguments，在Program arguments中輸入“你要傳給程序的輸入文件夾和你要求程序?qū)⒂?jì)算結(jié)果保存的文件夾”，如：

然后點(diǎn)擊run；

如果顯示如下，說(shuō)明已經(jīng)成功在myeclipse下運(yùn)行第一個(gè)MapReduce程序了。?

Bye?1????

Goodbye?1????

Hadoop??2????

Hello???2????

World???2 ?

?4、問(wèn)題解決

如果遇到Hadoop?PriviledgedActionException: Failed to set permissions；

請(qǐng)下載hadoop-core-1.2.1.jar.pdf，替換掉hadoop目錄下的hadoop-core-1.2.1 .jar文件，即可。

轉(zhuǎn)載于:https://www.cnblogs.com/liudmblog/p/3920328.html

總結(jié)

以上是生活随笔為你收集整理的windows下hadoop的单机伪分布式部署（3）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。