eclipse配置本地连接 hadoop
首先下載需要的jar包
下載官網網站: http://archive.cloudera.com/cdh5/cdh/5/ 下載jar包tz
下載hadoop所需要的jar包,后綴加上.tar.gz即可下載
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz 即可下載
下載 hadoop-eclipse-plugin-2.6.0.jar
提取碼 mqu9
https://pan.baidu.com/s/19tsObCwrWl4if1CedFiBGA
提取碼 mqu9
將hadoop-2.6.0-cdh5.9.3/tar.gz進行解壓 放到某盤的目錄下
將網盤下載的這兩個文件拖到 hadoop-2.6.0/bin 的目錄下
配置hadoop環境 在桌面此電腦——》 屬性 ——》高級系統設置——》環境變量
新建一個配置hadoop環境
在path下設置 bin 和sbin
設置完以后在cmd窗口 輸入 hadoop vesion 查看是否配置成功
在桌面找到eclipse點擊屬性打開文件所在的位置,將hadoop-eclipse-plugin-2.6.0.jar 拖到plugins 中
打開eclipse ——打開window —preferences ——hadoop Map/Reduce
8.打開window ——show view ——other
9.連接成功以后顯示hdfs文件
10.配置完重啟一下機器
11.有的同學配置設置完以后不顯示左邊的DFS, 點擊 window——》perspective——》——》Open perspective——》點擊Map/Reduce 小藍象
即可
12.安裝配置中遇到的一些問題
1)首先在發現錯誤的時候,先重啟eclipse機器或電腦
2)首先查看環境是否配好,磁盤是否有權限,如果是window7系統,配置環境的時候把path里邊用%%括起來
3)當運行代碼報這個錯的時候需要改底層代碼org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
1.在代碼中 ctrl+shift +t 找到 NativeIO 底層代碼
2.ctrl+f 找到axxess0 這個類
3.在工程下新建一個與底層代碼相同的包,相同的類
還有一個錯就是我找了好久才解決的錯誤
明明自己有文件,卻報找不到文件或目錄,后來經過研究才知道是因為權限的問題
就是在我hadoop-2.6.0這個放文件的磁盤沒有權限,解決方案如下:
比如:文件在C盤下發那個的 : 點開c盤 右鍵屬性
點開安全 編輯屬性 設置為完全控制以后重啟eclipse 問題解決了
總結
以上是生活随笔為你收集整理的eclipse配置本地连接 hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 迷你世界怎么驯服飞龙
- 下一篇: 如何使用cmd查看局域网所有ip(如何查