日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

在Eclipse中打开Hadoop工程

發布時間:2025/5/22 编程问答 21 豆豆
生活随笔 收集整理的這篇文章主要介紹了 在Eclipse中打开Hadoop工程 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1. 安裝虛擬機,我用的是VMware Workstation 12 Player

2. 在VM中安裝Ubuntu,我用的鏡像文件是ubuntu-15.10-desktop-amd64.iso

3. 安裝java,sudo apt-get install openjdk-7-jdk

4. 安裝Eclipse,去Eclipse官網http://www.eclipse.org/downloads,下載Eclipse安裝器,運行后選擇安裝Eclipse IDE for Java Developers

5. 安裝git與maven,sudo apt-get install git maven

?

?

后面的部分是參考Apache官網的wiki來完成的:http://wiki.apache.org/hadoop/EclipseEnvironment

6. 用git下載Hadoop源碼,git clone git://git.apache.org/hadoop-common.git

7. cd進入git下載的hadoop-common文件夾內,然后輸入命令:mvn install -DskipTests

這一步可能會報錯 ?cannot run program protoc 之類的

原因是系統沒有安裝google的protobuf

有一點需要注意的是,當前版本的Hadoop(2.6.4)是依賴于protobuf 2.5.0,而使用apt-get install 安裝的protobuf高于這個版本,所以我們需要手動安裝2.5.0版本的protobuf

而由于墻的緣故,我們只好使用別人分享的源碼了,下載鏈接是:http://pan.baidu.com/s/1pJlZubT

安裝方法參考http://blog.csdn.net/realxie/article/details/7456013

輸入protoc --version命令,如顯示libprotoc 2.5.0則安裝成功

8. 繼續輸入命令:mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true

9. 在Eclipse中導入工程

ps

1. 7/8兩步由于需要聯網下載依賴項與文檔,會耗費相當長的時間

2. vim上下左右變abcd的解決方案見http://blog.csdn.net/yf210yf/article/details/6700308

?

?

在導入hadoop-common, hadoop-hdfs, hadoop-mapreduce項目之后,編譯器報了數百個錯,大概分類如下

1.?access restriction

參考http://blog.csdn.net/ustcxjt/article/details/7438614

修改Eclipse的報警等級即可

然后剩下一百一十多個錯誤

2.?avrorecord cannot be resolved to a type

?需要下載Apache的avro-tools包,我使用的版本為1.7.7,下載地址為:http://mirrors.hust.edu.cn/apache/avro/avro-1.7.7/java/avro-tools-1.7.7.jar

?將下載好的jar包放到hadoop的源碼路徑,對于我來說就是/home/cc/git/hadoop-common/

然后執行以下命令

cd /home/cc/git/hadoop-common/hadoop-common-project/hadoop-common/src/test/avro

java -jar /home/cc/git/hadoop-common/avro-tools-1.7.7.jar compile schema avroRecord.avsc ../java

刷新項目后還剩108個錯誤

3.?echorequestproto cannot be resolved

首先需要安裝好google的protobuf

然后執行以下命令

cd /home/cc/git/hadoop-common/hadoop-common-project/hadoop-common/src/test/proto

protoc --java_out=../java *.proto

刷新項目后還剩55個錯誤

4. yarn-xxx項目未導入

將hadoop-common中的hadoop-yarn-project項目全部導入Eclipse中

刷新項目,0 Error

轉載于:https://www.cnblogs.com/stevenczp/p/5212712.html

總結

以上是生活随笔為你收集整理的在Eclipse中打开Hadoop工程的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。