在ubuntu下使用Eclipse搭建Hadoop开发环境
一、安裝準備
1、JDK版本:jdk1.7.0(jdk-7-linux-i586.tar.gz)
2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本:Eclipse Java EE IDE for Web Developers.
??Version: Juno Service Release 1
??Build id: 20120920-0800(eclipse-jee-juno-SR1-linux-gtk.tar.gz)
4、eclipse與hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
5、操作系統:ubuntu10.10
注:jdk、hadoop、eclipse、hadoop-eclipse-plugin存在兼容問題,建議大家按上面的版本進行實踐(本人在搭建該環境時吃了不少虧~~)。
二、安裝操作
1、安裝JDK,此步省略…(不懂的點擊這里?)。
2、安裝hadoop,此步省略…(不懂的點擊這里?)。
3、安裝eclipse,操作步驟如下:
1)、把安裝文件拷貝到home目錄下
cp eclipse-jee-juno-SR1-linux-gtk.tar.gz /home
2)、安裝eclipse(即解壓就可使用)
tar -zxvf eclipse-jee-juno-SR1-linux-gtk.tar.gz
4)、啟動eclipse,并創建workspace作為eclipse的工作空間
cd? /home/eclipse? #切換到eclipse目錄下
./eclipse
三、配置Eclipse、Hadoop開發環境
第一步:安裝Eclipse-Hadoophadoop集成插件
把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中,然后重新啟動Eclipse如下圖。
細心的你從上圖左側“Project Explorer”下面發現“DFS Locations”,說明Eclipse已經識別剛才放入的Hadoop Eclipse插件了。
第二步:在Eclipse中指定Hadoop的安裝目錄
選擇“Window”菜單下的“Preference”,然后彈出一個窗體,在窗體的左側中找到“Hadoop Map/Reduce”選項,點擊此選項,選擇Hadoop的安裝目錄(如我的Hadoop目錄:/home/hadoop/hadoop-1.1.1)。結果如下圖:
第三步:切換“Map/Reduce”工作目錄
有兩種方法:
1)、選擇“Window”菜單下選擇“Open Perspective–>Other”,彈出一個窗體,從中選擇“Map/Reduce”選項即可進行切換。
2)、在Eclipse軟件的右上角,點擊圖標“”中的“”,從中選擇“Map/Reduce”,然后點擊“OK”即可確定。
切換到“Map/Reduce”工作目錄下的界面如下圖所示。
第四步:配置DFS Locations
建立與Hadoop集群的連接,在Eclipse軟件下面的“Map/Reduce Locations”進行右擊,彈出一個選項,選擇“New Hadoop Location ”,然后彈出一個窗體。
注意上圖中的紅色標注的地方,是需要我們關注的地方。
Location Name:可以任意填,標識一個“Map/Reduce Location”
Map/Reduce Master
Host:xx.xx.xx.xx(Master.Hadoop的IP地址,即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中ip)
Port:xx(即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中端口)
DFS Master
Use M/R Master host:前面的勾上。(因為我們的NameNode和JobTracker都在一個機器上。)
Host:xx.xx.xx.xx(/home/hadoop/hadoop-1.1.1/conf/core-site.xml中ip)
Port:xxxx (/home/hadoop/hadoop-1.1.1/conf/core-site.xml中端口)
User name:hadoop(操作hadoop的用戶)
接著點擊“Advanced parameters”從中找到“hadoop.tmp.dir”,修改成為我們Hadoop集群中設置的地址,我們的Hadoop集群是“/home/hadoop/hadoop-datastore/”,這個參數在“core-site.xml”進行了配置。
再從中找到“fs.default.name”,修改成為我們Hadoop集群中設置的地址,我們的Hadoop集群是“hdfs://localhost:54310”,這個參數在“core-site.xml”進行了配置。
點擊“finish”之后,會發現Eclipse軟件下面的“Map/Reduce Locations”出現一條信息, 就是我們剛才建立的“Map/Reduce Location ”。
第五步:查看HDFS文件系統
查看HDFS文件系統,點擊Eclipse軟件左側的“DFS Locations”下面的“localhost”,就會展示出HDFS上的文件結構(記得要先啟動hadoop,不然看不到效果)。
到此為止,我們的Hadoop Eclipse開發環境已經配置完畢。
總結
以上是生活随笔為你收集整理的在ubuntu下使用Eclipse搭建Hadoop开发环境的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CentOS下yum源epel扩展源
- 下一篇: ubuntu18.04安装pycharm