MapReduce 數字統計例子WordCount

在單機環境上運行WordCount.java程序

簡單配置為：/etc/hosts:

?

Core-site.xml

?

?

在這兩個配置文件下運行WordCount 程序，出現如下的錯誤：

?

?

錯誤中有一句：due to :Call From YARN001/127.0.0.1 to YARN001:8020 failed，所以經過不斷地嘗試，將core-site.xml里的hdfs://YARN001:8020改為hdfs://192.168.116.50:8020后程序運行成功：

?

回過頭審視，發現/etc/hosts配置得形同虛設于是將/etc/hosts最后一行刪去

?

用到的HDFS基本命令有

bin/hdfs dfs -rmr /output

bin/hdfs dfs -mkdir -p /input

bin/hdfs dfs -put WordCout.java /input

?

其他基本命令，記錄到博客中

?

執行wordcount程序命令為:

bin/hadoop jar /home/dongwengao/wordcount.jar wordcount/WordCount /input /output

說明：wordcount/WordCount是包名/類名， /input輸入目錄為args[0]，需要提前生成， /output 輸出目錄為args[1]，不能提前生成，如果生成要刪除。

?

轉載于:https://www.cnblogs.com/hotMemo/p/9338415.html

總結

以上是生活随笔為你收集整理的MapReduce执行WordCount操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。