Eclipse下搭建Hadoop开发环境，并运行第一个实例
有同學無法正常運行程序，這里將Eclipse下Hadoop環境配置進行一下說明：
? ? 1.新建Map/Reduce工程
? ? 2.設置Hadoop Locaiton，第一次使用的話，點擊大象，新建配置。
? ??
? ? 3.設置內容（配置需要和Hadoop的配置文件相同）：
? ? Location name和Host填寫localhost，Map/Reduce Master的端口號必須和Mapred-site.xml中的HDFS配置端口號一致（Hadoop2.2.0版本中沒有配置，建議按照Hadoop1.x配置），這里填寫9001，DFS Master填寫HDFS的端口號必須和core-site.xml中的HDFS配置端口一致，這里填寫9000，User name為Hadoop的所有者用戶名，即安裝Hadoop的Linux用戶，這里為Hduser。
? ? 5.配置好之后，開啟Hadoop，即可在Eclipse左側看到HDFS中的文件，至此，Eclipse下的環境已經搭好。
開發實例：
? ? 1.新建工程 wordcount
? ??
? ? 2.點擊Configure Hadoop install directory 配置Hadoop 安裝位置，選擇Hadoop安裝根目錄，應用。
? ? 3.Hadoop類庫這時已經自動導入了。src——>new——>other可以在工程中建立Map類，Reduce類，以及MapReduceDriver類，向導會自動生成3個類的框架，向里面填寫相關代碼，之后點擊MapReduceDriver類——>Run on hadoop來運行Hadoop應用。這個運行是工具自動打包成jar文件愛你，并部署到Hadoop環境上去運行的。
? ? 4.實例說明
? ? 4.1非標準步驟（在一個文件內實現Map類，Redcue類，MapReduceDriver類）
? ? （1）這里沒有新建Map類，Reduce類，MapReduceDriver類，直接在工程wordcount里新建一個類文件，命名wordcount（不標準，標準步驟后續補上）。然后將Hadoop 樣例程序wordcount.java內容復制進去，保存，然后選擇Run——>Run Configurarion...。
? ? （2）在Arguments標簽頁，設置參數：/home/jack/Desktop/in為我的待計算文件所在目錄（需要提前將文件拷貝進去）；/home/jack/Desktop/out是計算結果輸入目錄（程序運行過程中自動創建）；VM arguments是設置Map/Reduce子虛擬機使用的堆的大小。
? ? （3）查看out目錄結構
? ? （4）查看計算結果
? ?4.2標準步驟（Map類，Reduce類，MapRedcueDriver分開建立，低耦合）
? ? （1）新建Map/Reduce工程wordcount。
? ? （2）新建Mapper.java，選擇File——>New——>Mapper，輸入包名及類名。
? ? （3）實現Mapper.java（在Hadoop2.2.0之中，Mapper框架的參數變為Mapper<LongWritable, Text, Text,Text>，建議改為Mapper<LongWritable, Text, Text,IntWritable>，否則會提示類型錯誤）。
? ??
? ? （4）新建Reduccer.java，選擇File——>New——>Reducer，輸入包名及類名。
? ? （5）實現Reducer.java（同樣在Hadoop2.2.0之中，Reducer框架的參數變為Reducer<Text,Text, Text,?Text>，reduce方法變為reduce(Text _key, Iterable<Text> values, Context context)，建議改為Reducer<Text,IntWritable, Text,?IntWritable>和reduce(Text _key, Iterable<IntWritable> values, Context context)，否則會提示類型錯誤，如果Reducer中的第二個參數類型不該為IntWritable的話，最后的結果是沒有合并的）。
? ? （6）建立Map/Reduce Driver，選擇File——>New——>MapReduce Driver，輸入包名及類名。
? ? （7）實現MapReduce Driver.java。
? ? （8）檢查Map/Reduce程序是否已經編譯完畢（編譯自動進行），查看編譯的.class文件是否存在。
?? ?（9）測試Map/Reduce單詞統計應用程序。右鍵wordcount.java（MapReduce Driver程序，里面含有main方法）——>Run as...——>Run Configurations...（設置輸入輸出目錄）——>選擇Java Application——>wordcount（根據自己的情況修改）——>Arguments設置Program arguments和VM arguments（VM arguments可以不設置），設置好之后，Run，即可在設置好的輸出目錄看到結果。
? ? （10）out目錄結構
? ? （11）計算結果
總結
以上是生活随笔為你收集整理的Eclipse下搭建Hadoop开发环境，并运行第一个实例的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 用C语言编写一个Linux下的简单she
- 下一篇： Mac上运行第一个Hadoop实例