先看全圖是基于Yarn的Map-Reduce運(yùn)行過程，下面通俗的說一下這個(gè)過程。

從前有一個(gè)老板Resource Manager，開了一家外包公司，這家公司有很多的團(tuán)隊(duì)Node，每個(gè)團(tuán)隊(duì)都有個(gè)經(jīng)理Node Manager，每過一段時(shí)間，團(tuán)隊(duì)經(jīng)理Node Manager都要到老板那里開會(huì)，向老板的人事部門Manage NMs的ResourceTackerService報(bào)告當(dāng)前的人員使用情況。

這一天，來了一個(gè)客戶Client，來到總部的接待處ClientRMService說，我有個(gè)項(xiàng)目，你們干不？getNewApplication

當(dāng)老板覺得這個(gè)項(xiàng)目干得過，于是就給客戶Client拿了一個(gè)號(hào)Application ID，說項(xiàng)目我們接，把你們的項(xiàng)目材料提交一下吧。

于是客戶Client回去整理了一下項(xiàng)目的材料，將項(xiàng)目的具體材料，例如項(xiàng)目執(zhí)行所需要的jars，項(xiàng)目的說明文檔job.xml，項(xiàng)目的進(jìn)度規(guī)劃splits，上傳到了同一的云盤HDFS上，然后向總部提交了申請(qǐng)表submitApplication。

老板Resource Manager對(duì)項(xiàng)目管理組Manage AMs的人說，接了項(xiàng)目，弄個(gè)項(xiàng)目經(jīng)理ApplicationMaster(MRAppMaster)吧(startContainter)，專門負(fù)責(zé)這個(gè)項(xiàng)目的對(duì)接。于是在一個(gè)團(tuán)隊(duì)里面Node Manager下面抽了一個(gè)人，做項(xiàng)目經(jīng)理，然后告訴客戶，以后由著項(xiàng)目經(jīng)理進(jìn)行對(duì)接了。

項(xiàng)目經(jīng)理MRAppMaster說：是，老板!，于是走馬上任registerApplicationMaster。

項(xiàng)目經(jīng)理MRAppMaster對(duì)客戶說：以后這個(gè)項(xiàng)目的事情，就由我來對(duì)接了，我會(huì)不斷將項(xiàng)目進(jìn)度反饋給你的getJobReport。

新官上任三把火，項(xiàng)目經(jīng)理MRAppMaster開始擼起袖子干革命了。

第一件事情，就是從云盤HDFS上將項(xiàng)目資料下載下來，仔細(xì)閱讀，發(fā)現(xiàn)這個(gè)客戶要干的事情真不少，需要很多人一起干，于是按照splits里面的規(guī)劃，將任務(wù)分成很多份，大家一起干MapTask，這樣干的快，但是最終的結(jié)果，還是需要幾個(gè)可靠的人將大家的結(jié)果收集起來，做個(gè)匯總ReduceTask，然后將項(xiàng)目結(jié)果也寫到云盤HDFS上去，告訴客戶任務(wù)執(zhí)行完了，結(jié)果在云盤上，自己去看吧。

好了，項(xiàng)目經(jīng)理MRAppMaster做好了上述的規(guī)劃，開始干。

項(xiàng)目經(jīng)理先去總部申請(qǐng)人頭allocate，由于每個(gè)人都是算工時(shí)的，因而MapTask的部分可以先安排人，做總結(jié)匯報(bào)的ReduceTask的人還不著急。

于是總部Resource Manager經(jīng)過協(xié)調(diào)部門Scheduler找到了足夠的人選，然后由項(xiàng)目管理組ApplicationMasterService告訴項(xiàng)目經(jīng)理MRAppMaster，團(tuán)隊(duì)一Node Manager手下有兩個(gè)人可以干活，團(tuán)隊(duì)三Node Manager手下有三個(gè)人可以干活，團(tuán)隊(duì)七手下有一個(gè)人可以干活。

于是項(xiàng)目經(jīng)理MRAppMaster告知各團(tuán)隊(duì)經(jīng)理Node Manager，總部給我說了，你們說下各有N個(gè)人可以加入我的項(xiàng)目，開始干活了。

于是Node Manager將人分ContainerExecutor到項(xiàng)目組，先進(jìn)行MapTask的任務(wù)，分到項(xiàng)目組的人不斷將MapTask的結(jié)果向項(xiàng)目經(jīng)理匯報(bào)。

當(dāng)項(xiàng)目經(jīng)理發(fā)現(xiàn)MapTask的任務(wù)執(zhí)行的差不多了，于是向總部申請(qǐng)人頭allocate來做匯總的工作ReduceTask。

做匯總工作的人也是從各團(tuán)隊(duì)分配的，也是要不斷的將結(jié)果向項(xiàng)目經(jīng)理匯報(bào)。

做匯總工作的人ReduceTask，會(huì)將MapTask的結(jié)果收集起來，做一定的處理，得到匯總的結(jié)果，寫入云盤HDFS。

當(dāng)結(jié)果匯總完畢，任務(wù)就結(jié)束了，項(xiàng)目經(jīng)理告訴客戶任務(wù)圓滿完成，也告訴總部項(xiàng)目我交差了finishApplicationMaster，可以開始干下一個(gè)項(xiàng)目了。

有人問，有什么項(xiàng)目需要這樣興師動(dòng)眾呢？下面舉幾個(gè)例子。

大數(shù)據(jù)方法論之Nutch基于Map-Reduce的爬取方法

大數(shù)據(jù)方法論之PageRank的Map-Reduce計(jì)算

大數(shù)據(jù)方法論之網(wǎng)頁(yè)消重的Map-Reduce算法

總結(jié)

以上是生活随笔為你收集整理的通俗说基于Yarn的Map-Reduce过程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。