日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop入门实例——WordCount统计单词

發布時間:2025/3/21 编程问答 29 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Hadoop入门实例——WordCount统计单词 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

首先要說明的是運行Hadoop需要jdk1.6或以上版本,如果你還沒有搭建好Hadoop集群,請參考我的另一篇文章:

Linux環境搭建Hadoop偽分布模式

馬上進入正題。

1.啟動Hadoop集群,使用jps查看所有結點是否啟動成功;


2.進入hadoop的bin目錄,查看hadoop中的例程

運行./hadoop jar /opt/hadoop/hadoop-examples-*-.jar,紅框中的jar包根據你的hadoop版本而定;



3.試圖運行wordcount,./hadoop jar /opt/hadoop/hadoop-examples-1.0.4.jar wordcount


顯示出參數列表為:wordcount <in> <out>,所以我們要指定分布式文件的輸入、輸出目錄;


4.創建輸入目錄

在bin目錄下運行:./hadoop dfs -mkdir /home/hadoop/input (本地的mkdir可能不可用)


5.下載幾篇英文文章(txt最好),放入剛剛創建的輸入目錄

我使用的是window下的虛擬機,可以用xftp將本地文件上傳到Linux服務器,很方便。。

./hadoop dfs -put input/* /home/hadoop/input

(注:第一個目錄是你存放文章的本地目錄,*通配符,表示該目錄下的所有文檔,

第二個目錄是你的分布式文件系統的輸入目錄)

查看測試文件:./hadoop dfs -ls /home/hadoop/input?



6.運行,每次運行前請先刪除輸出目錄,因為他是自動生成的;

或者每次都創建一個新的目錄,否則會運行失敗。

./hadoop jar ../hadoop-examples-1.0.4.jar wordcount /home/hadoop/input /home/hadoop/output



7.查看單詞統計結果,默認生成的文件part-r-00000

./hadoop dfs -cat /home/hadoop/output/part-r-00000


我選擇的是一篇經濟學論文,這個就是部分結果了。

開心!!!

?

轉載于:https://www.cnblogs.com/yangmang/p/6275578.html

總結

以上是生活随笔為你收集整理的Hadoop入门实例——WordCount统计单词的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。