"error: failure to login"問題

http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

DFS Locations

本人這次的編譯環境是linuxmint15 64bit，與上文的編譯環境win2003不同了

首先要配置linux的jdk 1.6.0_45、ant?1.9.1以及相關環境變量，這部分內容本文就不再贅述了

然后需要下載eclipse和hadoop的源碼包，本人下載的eclipse版本是Eclipse Classic 4.2.2 ，下載地址Eclipse Classic 4.2.2

hadoop版本為1.2.0，源碼包下載地址?hadoop-1.2.0.tar.gz

與上文比較類似，修改${hadoop.root}/src/contrib目錄的build-contrib.xml文件，添加eclipse路徑和hadoop版本信息(/home/chenying/program/eclipse為我的eclipse路徑)

<property name="eclipse.home" location="/home/chenying/program/eclipse" /> <property name="version" value="1.2.0"/>

修改javac.deprecation屬性

<property name="javac.deprecation" value="on"/>

修改${hadoop.root}/src/contrib/eclipse-plugin目錄下的build.xml文件，在id為classpath的path節點添加hadoop-core的jar依賴

<!-- Override classpath to include Eclipse SDK jars --><path id="classpath"><pathelement location="${build.classes}"/><pathelement location="${hadoop.root}/build/classes"/><!--hadoop-core --> <pathelement location="${hadoop.root}/hadoop-core-${version}.jar"/><path refid="eclipse-sdk-jars"/></path>

找到name為jar的target，將相應的jar文件打包進插件的lib目錄

<!-- Override jar target to specify manifest --><target name="jar" depends="compile" unless="skip.contrib"><mkdir dir="${build.dir}/lib"/><!--<copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/><copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>--><copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/><copy file="${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/><!-- 將以下jar包打進hadoop-eclipse-1.1.2.jar中 --> <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/> <jarjarfile="${build.dir}/hadoop-${name}-${version}.jar"manifest="${root}/META-INF/MANIFEST.MF"><fileset dir="${build.dir}" includes="classes/ lib/"/><fileset dir="${root}" includes="resources/ plugin.xml"/></jar></target>

修改MANIFEST.MF文件里面Bundle-ClassPath屬性值

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar

在命令行進入?${hadoop.root}/src/contrib/eclipse-plugin目錄，輸入ant命令

最后在${hadoop.root}/build/contrib/eclipse-plugin目錄生成打包好的插件，將hadoop-eclipse-plugin-1.2.0.jar文件復制到eclipse的plugins目錄即可

插件下載地址?hadoop-eclipse-plugin-1.2.0.jar

---------------------------------------------------------------------------

本系列Hadoop1.2.0開發筆記系本人原創

轉載請注明出處 博客園?刺猬的溫馴

本文鏈接?http://www.cnblogs.com/chenying99/archive/2013/05/31/3109566.html

2.重啟eclipse，配置hadoop installation directory。
如果安裝插件成功，打開Window-->Preferens，你會發現Hadoop Map/Reduce選項，在這個選項里你需要配置Hadoop installation directory。配置完成后退出。

3.配置Map/Reduce Locations。
在Window-->Show View中打開Map/Reduce Locations。
在Map/Reduce Locations中新建一個Hadoop Location。在這個View中，右鍵-->New Hadoop Location。在彈出的對話框中你需要配置Location name，如Hadoop，還有Map/Reduce Master和DFS Master。這里面的Host、Port分別為你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

Map/Reduce Master

192.168.1.101 9001

DFS Master

192.168.1.101 9000

配置完后退出。點擊DFS Locations-->Hadoop如果能顯示文件夾(2)說明配置正確，如果顯示"拒絕連接"，請檢查你的配置。

第三步：新建項目。
File-->New-->Other-->Map/Reduce Project
項目名可以隨便取，如WordCount。
復制 hadoop安裝目錄/src/example/org/apache/hadoop/example/WordCount.java到剛才新建的項目下面。

第四步：上傳模擬數據文件夾。
為了運行程序，我們需要一個輸入的文件夾，和輸出的文件夾。
在本地新建word.txt

java c++ python c java c++ javascript helloworld hadoop mapreduce java hadoop hbase

通過hadoop的命令在HDFS上創建/tmp/workcount目錄，命令如下：bin/hadoop fs -mkdir /tmp/wordcount

通過copyFromLocal命令把本地的word.txt復制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt? /tmp/wordcount/word.txt

第五步：運行項目

1.在新建的項目Hadoop，點擊WordCount.java，右鍵-->Run As-->Run Configurations
2.在彈出的Run Configurations對話框中，點Java Application，右鍵-->New，這時會新建一個application名為WordCount
3.配置運行參數，點Arguments，在Program arguments中輸入“你要傳給程序的輸入文件夾和你要求程序將計算結果保存的文件夾”，如：

hdfs://centos1:9000/tmp/wordcount/word.txt hdfs://centos1:9000/tmp/wordcount/out

4、如果運行時報java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)

-Xms512m -Xmx1024m -XX:MaxPermSize=256m

5.點擊Run，運行程序。

點擊Run，運行程序，過段時間將運行完成，等運行結束后，查看運行結果，使用命令： bin/hadoop fs -ls /tmp/wordcount/out查看例子的輸出結果，發現有兩個文件夾和一個文件，使用命令查看part-r-00000文件， bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看運行結果。

c 1 c++ 2 hadoop 2 hbase 1 helloworld 1 java 3 javascript 1 mapreduce 1 python 1

轉載于:https://www.cnblogs.com/kxdblog/p/4034259.html

總結

以上是生活随笔為你收集整理的eclipse hadoop1.2.0配置及wordcount运行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。