hadoop大数据——mapreduce程序提交运行模式及debug方法
生活随笔
收集整理的這篇文章主要介紹了
hadoop大数据——mapreduce程序提交运行模式及debug方法
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
- 本地運行模式
(1)mapreduce程序是被提交給LocalJobRunner在本地運行
(2)而處理的數據及輸出結果可以在本地文件系統,也可以在hdfs上
怎樣實現本地運行?:寫一個程序,不要帶集群的配置文件(本質是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname參數)
- 集群運行模式
(1)mapreduce程序會提交給yarn集群的resourcemanager,分發到很多的節點上并發執行
(2)處理的數據和輸出結果應該位于hdfs文件系統
(3)怎樣實現集群運行:
A、將程序打成JAR包,然后在集群的任意一個節點上用hadoop命令啟動
$ hadoop jar wordcount.jar cn.zhangxueliang.bigdata.mrsimple.WordCountDriver inputpath outputpath
B、直接在linux的eclipse中運行main方法
(項目中要帶參數:mapreduce.framework.name=yarn以及yarn的兩個基本配置)
C、如果要在windows的eclipse中提交job給集群,則要修改YarnRunner類
總結
以上是生活随笔為你收集整理的hadoop大数据——mapreduce程序提交运行模式及debug方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: spring boot整合freemar
- 下一篇: Hadoop大数据——mapreduce