日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > Ubuntu >内容正文

Ubuntu

在ubuntu下使用Eclipse搭建Hadoop开发环境

發布時間:2025/5/22 Ubuntu 54 豆豆
生活随笔 收集整理的這篇文章主要介紹了 在ubuntu下使用Eclipse搭建Hadoop开发环境 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、安裝準備
1、JDK版本:jdk1.7.0(jdk-7-linux-i586.tar.gz)
2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本:Eclipse Java EE IDE for Web Developers.
??Version: Juno Service Release 1
??Build id: 20120920-0800(eclipse-jee-juno-SR1-linux-gtk.tar.gz)
4、eclipse與hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
5、操作系統:ubuntu10.10

注:jdk、hadoop、eclipse、hadoop-eclipse-plugin存在兼容問題,建議大家按上面的版本進行實踐(本人在搭建該環境時吃了不少虧~~)。

二、安裝操作
1、安裝JDK,此步省略…(不懂的點擊這里?)。
2、安裝hadoop,此步省略…(不懂的點擊這里?)。
3、安裝eclipse,操作步驟如下:
1)、把安裝文件拷貝到home目錄下
cp eclipse-jee-juno-SR1-linux-gtk.tar.gz /home
2)、安裝eclipse(即解壓就可使用)
tar -zxvf eclipse-jee-juno-SR1-linux-gtk.tar.gz
4)、啟動eclipse,并創建workspace作為eclipse的工作空間
cd? /home/eclipse? #切換到eclipse目錄下
./eclipse

三、配置Eclipse、Hadoop開發環境
第一步:安裝Eclipse-Hadoophadoop集成插件
把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中,然后重新啟動Eclipse如下圖。

細心的你從上圖左側“Project Explorer”下面發現“DFS Locations”,說明Eclipse已經識別剛才放入的Hadoop Eclipse插件了。

第二步:在Eclipse中指定Hadoop的安裝目錄
選擇“Window”菜單下的“Preference”,然后彈出一個窗體,在窗體的左側中找到“Hadoop Map/Reduce”選項,點擊此選項,選擇Hadoop的安裝目錄(如我的Hadoop目錄:/home/hadoop/hadoop-1.1.1)。結果如下圖:

第三步:切換“Map/Reduce”工作目錄
有兩種方法:
1)、選擇“Window”菜單下選擇“Open Perspective–>Other”,彈出一個窗體,從中選擇“Map/Reduce”選項即可進行切換。

2)、在Eclipse軟件的右上角,點擊圖標“”中的“”,從中選擇“Map/Reduce”,然后點擊“OK”即可確定。

切換到“Map/Reduce”工作目錄下的界面如下圖所示。

第四步:配置DFS Locations
建立與Hadoop集群的連接,在Eclipse軟件下面的“Map/Reduce Locations”進行右擊,彈出一個選項,選擇“New Hadoop Location ”,然后彈出一個窗體。

注意上圖中的紅色標注的地方,是需要我們關注的地方。
Location Name:可以任意填,標識一個“Map/Reduce Location”
Map/Reduce Master
Host:xx.xx.xx.xx(Master.Hadoop的IP地址,即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中ip)
Port:xx(即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中端口)
DFS Master
Use M/R Master host:前面的勾上。(因為我們的NameNode和JobTracker都在一個機器上。)
Host:xx.xx.xx.xx(/home/hadoop/hadoop-1.1.1/conf/core-site.xml中ip)
Port:xxxx (/home/hadoop/hadoop-1.1.1/conf/core-site.xml中端口)
User name:hadoop(操作hadoop的用戶)

接著點擊“Advanced parameters”從中找到“hadoop.tmp.dir”,修改成為我們Hadoop集群中設置的地址,我們的Hadoop集群是“/home/hadoop/hadoop-datastore/”,這個參數在“core-site.xml”進行了配置。

再從中找到“fs.default.name”,修改成為我們Hadoop集群中設置的地址,我們的Hadoop集群是“hdfs://localhost:54310”,這個參數在“core-site.xml”進行了配置。

點擊“finish”之后,會發現Eclipse軟件下面的“Map/Reduce Locations”出現一條信息, 就是我們剛才建立的“Map/Reduce Location ”。

第五步:查看HDFS文件系統
查看HDFS文件系統,點擊Eclipse軟件左側的“DFS Locations”下面的“localhost”,就會展示出HDFS上的文件結構(記得要先啟動hadoop,不然看不到效果)。

到此為止,我們的Hadoop Eclipse開發環境已經配置完畢。

總結

以上是生活随笔為你收集整理的在ubuntu下使用Eclipse搭建Hadoop开发环境的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。