對combiner的理解

combiner其實屬于優化方案，由于帶寬限制，應該盡量map和reduce之間的數據傳輸數量。它在Map端把同一個key的鍵值對合并在一起并計算，計算規則與reduce一致，所以combiner也可以看作特殊的Reducer。

執行combiner操作要求開發者必須在程序中設置了combiner(程序中通過job.setCombinerClass(myCombine.class)自定義combiner操作)。

Combiner組件是用來做局部匯總的，就在mapTask中進行匯總；Reducer組件是用來做全局匯總的，最終的，最后一次匯總。

哪里使用combiner?

1，map輸出數據根據分區排序完成后，在寫入文件之前會執行一次combine操作(前提是作業中設置了這個操作);

2，如果map輸出比較大，溢出文件個數大于3(此值可以通過屬性min.num.spills.for.combine配置)時，在merge的過程(多個spill文件合并為一個大文件)中前還會執行combiner操作;

注意事項

不是每種作業都可以做combiner操作的，只有滿足以下條件才可以：

1、Combiner 只能對 一個mapTask的中間結果進行匯總

2、如果想使用Reducer直接充當Combiner，那么必須滿足： Reducer的輸入和輸出key-value類型是一致的。

1）處于兩個不同節點的mapTask的結果不能combiner到一起

2）處于同一個節點的兩個MapTask的結果不能否combiner到一起

3）求最大值、求最小值、求和、去重時可直接使用Reducer充當Combiner，但是求平均值時不能直接使用Reducer充當Combiner。

　　原因：對2組值求平均值

　　2 3 4 5 6 == 20 / 5 == 4

　　4 5 6 == 15 / 3 == 5

　　***********************************************************************

　　20+15 / 5+3 = 35 / 8

　　4.5

?

總結

以上是生活随笔為你收集整理的Hadoop学习之路（十八）MapReduce框架Combiner分区的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。