• 1. 三大過程
  - Map側Shuffle
  - Reduce側Shuffle
• 2. 六大組件
  - InputFormat
  - OutputFormat
  - Serilizer
  - Comparator
  - Combiner
  - Partitioner
• 3. Mapreduce調優

1. 三大過程

上一節演示了最簡單的MR任務的編寫，可以看到其實很簡單，說簡單點就是套模板。但是要想用好hadoop這一利器，需要了解更多執行細節，在基本概念中已經說過mapreduce包括三大過程，最常見的一幅總結圖如下：

這里包括

• Map 讀入文件塊，分割成指定鍵值對
• Shuffle map輸出的鍵值對分組排序后輸出到磁盤，提供給reduce作為輸入
• Reduce 讀入shuffle后的鍵值對處理

廣義來講只有Map和Reduce，但是和用戶需要編程處理的map/reduce過程相比，map輸出到reduce輸入中間有大量處理過程，都屬于shuffle，也有人區分map側shuffle和reduce側shuffle，參考下圖，詳細描述這兩個shuffle過程。

Map側Shuffle

• map輸出不會直接輸出到磁盤，會先寫到一個環形緩沖區，緩沖區大小參數io.sort.mb設置，當超過一定閾值時(io.sort.spill.percent)，一個后臺線程會把緩沖區內容溢寫到指定目錄(mapred.local.dir)下的一個新建文件
• 寫磁盤時會先按照指定的分組器分組Partitioner，默認是HashPartitioner。示例按照鍵值的奇偶分成兩組，分組數和reduce數量相同。
• 然后按照指定指定的比較器Comparator排序鍵值對，示例按照鍵的大小排序。
• 如果指定了組合器Combiner，會先將輸出的數據通過Combiner先做處理，這樣會減少傳輸數據量，加快處理速度。
• 最終磁盤上存在一個個小的磁盤溢寫文件，這些文件歸并排序成一個大的分組排序好的文件

Reduce側Shuffle

• 在reduce側通過http拉取map側對應的分組數據，數據序列器Serilizer序列化后傳輸以減少傳輸壓力
• 拉取的數據先到緩沖區中排序合并
• 如果數據量太大，采用和之前一樣的策略，先寫到磁盤上一個小文件，然后再做歸并排序，這里數據排序主要就是為了歸并排序

到此，mapreduce的過程應該解析非常清楚了，可以發現，在shuffle過程中存在大量的磁盤讀寫操作，因此相對較慢，Spark等計算模型針對此盡量把中間shuffle過程放在內存中處理以加快速度，但是也應該看到，由于采用基于磁盤的歸并方法，mapreduce可以廉價的成本支持超大規模的數據處理，這也是mapreduce的價值所在。

這三大過程可以用網友的一幅圖完全概括，如下：

2. 六大組件

mapreduce允許我們編寫map/reduce過程處理代碼外，還允許我們定制如上的三大過程細節，姑且稱這些細節控制為組件編程。除了上述過程分析提到的外，mapreduce還包括InputFormat和OutputFormat，一共是如下六大組件：

InputFormat

針對不同數據源選擇不同InputFormat實現讀取輸入到map，決定了輸入數據如何解析，默認TextInputFormat，按行解析文本輸入，鍵為偏移量，值為行數據。

OutputFormat

輸出數據處理，決定數據如何輸出，可以選擇不同的OutputFormat實現來輸出。

Serilizer

決定傳輸數據如何序列化和反序列化，需要實現Writable接口的write和readFields。

Comparator

定制鍵值對如何排序，需要實現Comparable接口的compareTo。

Combiner

定制鍵值對如何在到達Reduce前先本地reduce一遍，減少數據傳輸量，需要實現Reducer接口的reduce，一般函數內容和Reduce過程一樣。

Partitioner

定制如何分組鍵值對，默認是HashPartitioner，需要實現Partitioner接口的getPartition，一般不需要定制。

后面會分別講這些組件的編程實現。

3. Mapreduce調優

關于這個問題，不會具體展開，《hadoop權威指南(第四版)》已經總結的很好，便于理解的話可從如下幾點考慮

• 充足的資源，包括map/reduce數量，對應的cpu/mem/java opts配置
• 足夠快的傳輸，壓縮/序列化/中間combiner排序/map join等
• 沒有短板，shuffle過程調優，解決數據傾斜

如下對應書中一個表供參考：

原創，轉載請注明來自

• 博客https://blog.csdn.net/wenzhou1219
• 個人網站http://jimwen.net/

總結

以上是生活随笔為你收集整理的4.MR过程分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。