日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > linux >内容正文

linux

wordcount linux java_linux下在eclipse上运行hadoop自带例子wordcount

發布時間:2025/3/8 linux 21 豆豆
生活随笔 收集整理的這篇文章主要介紹了 wordcount linux java_linux下在eclipse上运行hadoop自带例子wordcount 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

啟動eclipse:打開windows->open perspective->other->map/reduce 可以看到map/reduce開發視圖。設置Hadoop location.

打開windows->show view->other-> map/reduce Locations視圖,在點擊大象后【new Hadoop location】彈出的對話框(General tab)進行參數的添加:

Location name: 任意

map/reduce master:?與mapred-site.xml里面mapred.job.tracker設置一致。

DFS master:與core-site.xml里fs.default.name設置一致。

User name: 服務器上運行hadoop服務的用戶名。

這些已經足夠用。當然,如果你需要特殊設置,那么打開Advanced parameters設置面板,查看當前的選項以及修改其值.

創建Map/Reduce Project。運行最簡單的WordCount程序。

點擊Run on hadoop, 運行程序。你可以看到在output文件夾中出現文本段

運行時可能會出現內存溢出的異常:

原因是客戶端程序運行時java虛擬機內存分配不夠,修改run configuration(run as >run configurations),選擇Arguments選項卡,在VM arguments欄中加入-Xmx1024m,保存后執行沒有問題(即將執行時虛擬機內存調大)

在eclipse中運行wordcount.java,比在終端運行要簡單,首先su進入超級賬戶,運行eclipse,這里首先要確保eclipse的hadoop插件已經成功安裝。hadoop啟動,將eclipse中的dfs系統配置后,在eclipse頁面的左側dfs處刷新,新建文件夾input,upload想要測試的文件,然后在run->run as->run configration中配置參數,在argument選項卡中配置wordcount的參數,即測試文件和輸出文件夾的位置,中間用空格隔開,本人是如此配置的,hdfs://localhost:8020/user/root/input hdfs://localhost:8020/user/root/output,點擊run,運行完畢后在output文件夾中查看結果。

總結

以上是生活随笔為你收集整理的wordcount linux java_linux下在eclipse上运行hadoop自带例子wordcount的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。