eclipse安装Hadoop1.1.2版本开发插件
Hadoop1.1.2版本沒有直接適合Eclipse的安裝插件,需要手動打包jar文件。
我的系統(tǒng)配置:
- VMware Workstation10
- CentOS-6.5-i386
- hadoop-1.1.2
- eclipse_SDK_3.7.2_win32
系統(tǒng)配置說明:
??? 我的電腦是Win7 32位的,安裝了VMware虛擬機。
??? 在虛擬機中安裝的是CentOS系統(tǒng)(Linux系統(tǒng))。
??? 在Linux系統(tǒng)中配置的是Hadoop1.1.2的偽分布式集群環(huán)境。
??? Eclipse安裝在Window系統(tǒng)下。
實現(xiàn)功能:
??? 在window下的Eclipse中安裝Hadoop的開發(fā)環(huán)境。
實現(xiàn)步驟:
??? 一、編譯eclipse hadoop plugin插件
?????? 詳細參照頁面:http://blog.csdn.net/yonghutwo/article/details/9185797?
??? 說明:使用此方法沒有成功,沒能成功打包生成jar文件。最后下載了現(xiàn)成的jar文件使用。
?? 二、配置Eclipse
??? 詳細參照頁面:http://f.dataguru.cn/thread-23548-1-1.html
? 三、運行問題。???
12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator- 519341271\.staging to 0700 Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700問題原因:
這個是Windows下文件權限問題,在Linux下可以正常運行,不存在這樣的問題。
解決方法是將hadoop-x.x.x/src/core/org/apache/hadoop/fs/FileUtil.java里面方法checkReturnValue的代碼注釋掉.
再重新編譯生成hadoop-x.x.x-core.jar.
問題解決:
新建一個MapReduce項目, 把hadoop-x.x.x/src/core/org/apache/hadoop/fs/FileUtil.java代碼復制到src下(注意, 目錄結構也需要), 按上面修改文件, 然后重新build下, 找到編譯好的.class(兩個), 用解壓軟件打開hadoop-x.x.x-core.jar, 把這兩個class文件覆蓋即可.
怎樣build一個類文件:右鍵類--Export--Ant Bulidfiles
?提供一個我編譯好的jar文件。下載地址:?http://files.cnblogs.com/6tian/hadoop-core-1.1.2.rar
(使用時將.rar后綴改成.jar ?博客園不允許上傳jar類型的附件)
?
轉載于:https://www.cnblogs.com/6tian/p/3732807.html
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結
以上是生活随笔為你收集整理的eclipse安装Hadoop1.1.2版本开发插件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: DAX2012 R3安装
- 下一篇: POSIX 线程编程(二)线程建立与终止