2019獨角獸企業重金招聘Python工程師標準>>>

一、部署準備

操作系統：Centos7.2

Hadoop版本：Apache Hadoop 2.6.4

Java版本：1.7.0_79

Eclipse版本：Mars

?

二、Eclipse開發環境設置

第一步、下載插件部署

hadoop2x-eclipse-plugin的github地址：
https://github.com/winghc/hadoop2x-eclipse-plugin

將hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中，然后重啟eclipse。

第二步、配置環境變量HADOOP_HOME

進入eclipse的windows菜單-->Hadoop Map/Reduce設置HADOOP_HOME

第三部、切換工作目錄?

切換工作目錄到Map/Reduce。

第四部、創建Location

在下方的的Map/Reduce Locations可以創建和修改HDFS Location的配置。

Location name：定義這個Location的名字，隨意取個。

Map/Reduce(V2) Master：

Host：Yarn的Resourcemanager IP Address(參數yarn.resourcemanager.hostname值)

Port：Yarn的Resourcemanager 端口(參數yarn.resourcemanager.address值的端口)

DFS Master：

Host：HDFS的namenode?IP Address(參數dfs.namenode.rpc-bind-host值)

Port：HDFS的namenode?端口(參數dfs.namenode.rpc-address值的端口)

?

左邊Project Explorer顯示DFS Locations-->breath.

可以直接次目錄樹進行操作，如：創建目錄、刪除目錄、上傳文件、下載文件、查看文件、刷新。

第五部、創建MapReduce工程

File --> New --> Other --> Map/Reduce Project

創建的MapReduce工程已經自帶執行mapreduce所需的依賴。不需自己添加其他依賴。

?

?

轉載于:https://my.oschina.net/yulongblog/blog/738303

總結

以上是生活随笔為你收集整理的eclipse+MapReduce的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。