eclipse配置本地连接 hadoop
首先下載需要的jar包
下載官網(wǎng)網(wǎng)站: http://archive.cloudera.com/cdh5/cdh/5/ 下載jar包tz
下載hadoop所需要的jar包,后綴加上.tar.gz即可下載
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz 即可下載
下載 hadoop-eclipse-plugin-2.6.0.jar
提取碼 mqu9
https://pan.baidu.com/s/19tsObCwrWl4if1CedFiBGA
提取碼 mqu9
將hadoop-2.6.0-cdh5.9.3/tar.gz進(jìn)行解壓 放到某盤的目錄下
將網(wǎng)盤下載的這兩個文件拖到 hadoop-2.6.0/bin 的目錄下
配置hadoop環(huán)境 在桌面此電腦——》 屬性 ——》高級系統(tǒng)設(shè)置——》環(huán)境變量
新建一個配置hadoop環(huán)境
在path下設(shè)置 bin 和sbin
設(shè)置完以后在cmd窗口 輸入 hadoop vesion 查看是否配置成功
在桌面找到eclipse點擊屬性打開文件所在的位置,將hadoop-eclipse-plugin-2.6.0.jar 拖到plugins 中
打開eclipse ——打開window —preferences ——hadoop Map/Reduce
8.打開window ——show view ——other
9.連接成功以后顯示hdfs文件
10.配置完重啟一下機器
11.有的同學(xué)配置設(shè)置完以后不顯示左邊的DFS, 點擊 window——》perspective——》——》Open perspective——》點擊Map/Reduce 小藍(lán)象
即可
12.安裝配置中遇到的一些問題
1)首先在發(fā)現(xiàn)錯誤的時候,先重啟eclipse機器或電腦
2)首先查看環(huán)境是否配好,磁盤是否有權(quán)限,如果是window7系統(tǒng),配置環(huán)境的時候把path里邊用%%括起來
3)當(dāng)運行代碼報這個錯的時候需要改底層代碼org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
1.在代碼中 ctrl+shift +t 找到 NativeIO 底層代碼
2.ctrl+f 找到axxess0 這個類
3.在工程下新建一個與底層代碼相同的包,相同的類
還有一個錯就是我找了好久才解決的錯誤
明明自己有文件,卻報找不到文件或目錄,后來經(jīng)過研究才知道是因為權(quán)限的問題
就是在我hadoop-2.6.0這個放文件的磁盤沒有權(quán)限,解決方案如下:
比如:文件在C盤下發(fā)那個的 : 點開c盤 右鍵屬性
點開安全 編輯屬性 設(shè)置為完全控制以后重啟eclipse 問題解決了
總結(jié)
以上是生活随笔為你收集整理的eclipse配置本地连接 hadoop的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 迷你世界怎么驯服飞龙
- 下一篇: mr利用mapjoin计算出每个部门的总