2019獨角獸企業重金招聘Python工程師標準>>>

???? ? ? 在前面的文中我們分別搭建了單機和集群的Hadoop環境，今天我們將實踐使用Eclispe開發工具安裝

hadoop的開發插件，并且使用hadoop插件連接Hadoop遠程集群，文中有什么不對的地方，請大家指出來

共同學習。

一、環境準備

1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)

2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar

3.Hadoop集群環境

4.deepin15.5穩定版linux系統

注：以上都是本次實踐的版本，大家可以選擇適合自己的版本

二、安裝Eclispe的Hadoop開發插件

1.下載Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar，下載地址：

https://github.com/winghc/hadoop2x-eclipse-plugin

2.將插件復制到eclipse安裝目錄下的plugins目錄

3.啟動或者重啟Eclispe開發工具

4.打開eclipse的show View窗口，看到了我們安裝的Hadoop的插件

5.點擊Map/Reduce Locations打開視圖

出現的是hadoop的Map/Reduce開發相關的視圖，在視圖區域右上方有藍色小象的添加按鈕，此時插件工作配置完成

三、啟動Hadoop集群環境

1.SSH連接Hadoop集群的master節點機器，啟動hadoop集群

2.驗證集群是否正常啟動

在master節點執行hadoop dfsadmin -report驗證

打開yarn的web查看

hadoop集群搭建可參考《hadoop(04)、Hadoop 集群模式搭建實踐 》

四、創建配置Map/Reduce Locations

1. 打開eclispe到Map/Reduce Locations視圖窗口

2.點擊藍色小大象按鈕

3.配置Map/Reduce Locations信息

注意填寫參數：

Lacation Name：為該位置命名
MapReduce Master：與$HADOOP_DIRCONF/mapred-site.xml配置保持一致；
HDFS Master：與$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name：登錄hadoop用戶名，可以填寫其他的

4.點擊完成即可

5.驗證配置，點擊DFS? Locations

五、總結

???????? 本文主要實踐了eclispe安裝hadoop的插件，和在eclispe下使用hadoop插件連接遠程hadoop集群的操作，后面我們將使用改開發環境開發hadoop的作業任務。

?

??????

????????

轉載于:https://my.oschina.net/zss1993/blog/1593743

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的hadoop(05)、使用Eclipse连接远程Hadoop集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。