Hadoop學(xué)習(xí)筆記—10.Shuffle過程那點事兒

一、回顧Reduce階段三大步驟

　　在第四篇博文《初識MapReduce》中，我們認識了MapReduce的八大步驟，其中在Reduce階段總共三個步驟，如下圖所示：

　　其中，Step2.1就是一個Shuffle操作，它針對多個map任務(wù)的輸出按照不同的分區(qū)（Partition）通過網(wǎng)絡(luò)復(fù)制到不同的reduce任務(wù)節(jié)點上，這個過程就稱作為Shuffle。

PS：Hadoop的shuffle過程就是從map端輸出到reduce端輸入之間的過程，這一段應(yīng)該是Hadoop中最核心的部分，因為涉及到Hadoop中最珍貴的網(wǎng)絡(luò)資源，所以shuffle過程中會有很多可以調(diào)節(jié)的參數(shù)，也有很多策略可以研究，這方面可以看看大神董西成的相關(guān)文章或他寫的MapReduce相關(guān)書籍。

二、Shuffle過程淺析

　　上圖中分為Map任務(wù)和Reduce任務(wù)兩個階段，從map端輸出到reduce端的紅色和綠色的線表示數(shù)據(jù)流的一個過程，也我們所要了解的Shuffle過程。

2.1 Map端

　　（1）在map端首先接觸的是InputSplit，在InputSplit中含有DataNode中的數(shù)據(jù)，每一個InputSplit都會分配一個Mapper任務(wù)，Mapper任務(wù)結(jié)束后產(chǎn)生<K2,V2>的輸出，這些輸出先存放在緩存中， 每個map有一個環(huán)形內(nèi)存緩沖區(qū)，用于存儲任務(wù)的輸出。默認大小100MB（io.sort.mb屬性），一旦達到閥值0.8(io.sort.spil l.percent)，一個后臺線程就把內(nèi)容寫到(spill)Linux本地磁盤中的指定目錄（mapred.local.dir）下的新建的一個溢出 寫文件。

總結(jié)：map過程的輸出是寫入本地磁盤而不是HDFS，但是一開始數(shù)據(jù)并不是直接寫入磁盤而是緩沖在內(nèi)存中，緩存的好處就是減少磁盤I/O的開銷，提高合并和排序的速度。又因為默認的內(nèi)存緩沖大小是100M（當(dāng)然這個是可以配置的），所以在編寫map函數(shù)的時候要盡量減少內(nèi)存的使用，為shuffle過程預(yù)留更多的內(nèi)存，因為該過程是最耗時的過程。

　　（2）寫磁盤前，要進行partition、sort和combine等操作。通過分區(qū)，將不同類型的數(shù)據(jù)分開處理，之后對不同分區(qū)的數(shù)據(jù)進行 排序，如果有Combiner，還要對排序后的數(shù)據(jù)進行combine。等最后記錄寫完，將全部溢出文件合并為一個分區(qū)且排序的文件。

　　（3）最后將磁盤中的數(shù)據(jù)送到Reduce中，從圖中可以看出Map輸出有三個分區(qū)，有一個分區(qū)數(shù)據(jù)被送到圖示的Reduce任務(wù)中，剩下的兩個分區(qū)被送到其他Reducer任務(wù)中。而圖示的Reducer任務(wù)的其他的三個輸入則來自其他節(jié)點的Map輸出。

補充：在寫磁盤的時候采用壓縮的方式將map的輸出結(jié)果進行壓縮是一個減少網(wǎng)絡(luò)開銷很有效的方法！關(guān)于如何使用壓縮，在本文第三部分會有介紹。

2.2 Reduce端

　　（1）Copy階段：Reducer通過Http方式得到輸出文件的分區(qū)。

　　reduce端可能從n個map的結(jié)果中獲取數(shù)據(jù)，而這些map的執(zhí)行速度不盡相同，當(dāng)其中一個map運行結(jié)束時，reduce就會從 JobTracker中獲取該信息。map運行結(jié)束后TaskTracker會得到消息，進而將消息匯報給JobTracker，reduce定時從 JobTracker獲取該信息，reduce端默認有5個數(shù)據(jù)復(fù)制線程從map端復(fù)制數(shù)據(jù)。

　　（2）Merge階段：如果形成多個磁盤文件會進行合并

　　從map端復(fù)制來的數(shù)據(jù)首先寫到reduce端的緩存中，同樣緩存占用到達一定閾值后會將數(shù)據(jù)寫到磁盤中，同樣會進行partition、 combine、排序等過程。如果形成了多個磁盤文件還會進行合并，最后一次合并的結(jié)果作為reduce的輸入而不是寫入到磁盤中。
　　（3）Reducer的參數(shù)：最后將合并后的結(jié)果作為輸入傳入Reduce任務(wù)中。

總結(jié)：當(dāng)Reducer的輸入文件確定后，整個Shuffle操作才最終結(jié)束。之后就是Reducer的執(zhí)行了，最后Reducer會把結(jié)果存到HDFS上。

三、Hadoop中的壓縮

　　剛剛我們在了解Shuffle過程中看到，map端在寫磁盤的時候采用壓縮的方式將map的輸出結(jié)果進行壓縮是一個減少網(wǎng)絡(luò)開銷很有效的方法。其實，在Hadoop中早已為我們提供了一些壓縮算法的實現(xiàn)，我們不用重復(fù)造輪子了。

3.1 解壓縮算法的實現(xiàn)：Codec

　　Codec是Hadoop中關(guān)于壓縮，解壓縮的算法的實現(xiàn)，在Hadoop中，codec由CompressionCode的實現(xiàn)來表示。下面是一些常見壓縮算法實現(xiàn)，如下圖所示：

3.2 MapReduce的輸出進行壓縮

　　（1）MapReduce的輸出屬性如下所示

　　（2）在Java中如何針對輸出設(shè)置壓縮 ★★★

　　上圖中在reduce端輸出壓縮使用了剛剛Codec中的Gzip算法，當(dāng)然你也可以使用bzip2算法；

參考資料

（1）董西成，《Hadoop中shuffle階段流程分析》：http://dongxicheng.org/mapreduce/hadoop-shuffle-phase/?（該文對Shuffle階段的一些不足做出了分析，并給出了幾個目前流行的解決辦法）

（2）左堅，《Hadoop計算中的shuffle過程》：http://www.wnt.com.cn/html/news/tophome/top_xytd/top_xytd_jswz/bbs_service/20130711/111140562.html

（3）皮皮家的程序猿，《Hadoop中的shuffle過程》：http://www.cnblogs.com/zhangcm/archive/2012/11/23/2784495.html

（4）Suddenly，《MapReduce排序和分組》：http://www.cnblogs.com/sunddenly/p/4009751.html

?

作者：周旭龍

出處：http://edisonchou.cnblogs.com/

本文版權(quán)歸作者和博客園共有，歡迎轉(zhuǎn)載，但未經(jīng)作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接。

轉(zhuǎn)載于:https://www.cnblogs.com/1130136248wlxk/p/4975110.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop学习笔记—10.Shuffle过程那点事儿的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。