Hadoop之MapReduce工作流程

---

目錄

流程示意圖

流程詳解

注意

---

1. 流程示意圖

MapReduce工作流程
流程示意圖，如下圖

---

2. 流程詳解

上面的流程是整個mapreduce最全工作流程，但是shuffle過程只是從第7步開始到第16步結束，具體shuffle過程詳解，如下：

maptask收集我們的map()方法輸出的kv對，放到內存緩沖區中

從內存緩沖區不斷溢出本地磁盤文件，可能會溢出多個文件

多個溢出文件會被合并成大的溢出文件

在溢出過程中，及合并的過程中，都要調用partitioner進行分區和針對key進行排序

reducetask根據自己的分區號，去各個maptask機器上取相應的結果分區數據

reducetask會取到同一個分區的來自不同maptask的結果文件，reducetask會將這些文件再進行合并（歸并排序）

合并成大文件后，shuffle的過程也就結束了，后面進入reducetask的邏輯運算過程（從文件中取出一個一個的鍵值對group，調用用戶自定義的reduce()方法）

---

3. 注意

Shuffle中的緩沖區大小會影響到mapreduce程序的執行效率，原則上說，緩沖區越大，磁盤io的次數越少，執行速度就越快。

緩沖區的大小可以通過參數調整，參數：io.sort.mb 默認100M。

總結

以上是生活随笔為你收集整理的Hadoop之MapReduce工作流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。