• 本地運行模式

（1）mapreduce程序是被提交給LocalJobRunner在本地運行
（2）而處理的數(shù)據(jù)及輸出結果可以在本地文件系統(tǒng)，也可以在hdfs上
怎樣實現(xiàn)本地運行？：寫一個程序，不要帶集群的配置文件（本質(zhì)是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname參數(shù)）

• 集群運行模式

（1）mapreduce程序會提交給yarn集群的resourcemanager，分發(fā)到很多的節(jié)點上并發(fā)執(zhí)行
（2）處理的數(shù)據(jù)和輸出結果應該位于hdfs文件系統(tǒng)
（3）怎樣實現(xiàn)集群運行：
A、將程序打成JAR包，然后在集群的任意一個節(jié)點上用hadoop命令啟動
$ hadoop jar wordcount.jar cn.zhangxueliang.bigdata.mrsimple.WordCountDriver inputpath outputpath
B、直接在linux的eclipse中運行main方法
（項目中要帶參數(shù)：mapreduce.framework.name=yarn以及yarn的兩個基本配置）
C、如果要在windows的eclipse中提交job給集群，則要修改YarnRunner類

總結

以上是生活随笔為你收集整理的hadoop大数据——mapreduce程序提交运行模式及debug方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。