• mapreduce中的Combiner

（1）combiner是MR程序中Mapper和Reducer之外的一種組件
（2）combiner組件的父類就是Reducer
（3）Combiner和reducer的區別在于運行的位置：
Combiner是在每一個maptask所在的節點運行
Reducer是接收全局所有Mapper的輸出結果；

• mapreduce中的序列化

（1）Java的序列化是一個重量級序列化框架（Serializable），一個對象被序列化后，會附帶很多額外的信息（各種校驗信息，header，繼承體系。。。。），所以很臃腫，不便于在網絡中高效傳輸；
所以，hadoop自己開發了一套序列化機制（Writable），精簡，高效
簡單代碼驗證兩種序列化機制的差別：

public class TestSeri {public static void main(String[] args) throws Exception {//定義兩個ByteArrayOutputStream，用來接收不同序列化機制的序列化結果ByteArrayOutputStream ba = new ByteArrayOutputStream();ByteArrayOutputStream ba2 = new ByteArrayOutputStream();//定義兩個DataOutputStream，用于將普通對象進行jdk標準序列化DataOutputStream dout = new DataOutputStream(ba);DataOutputStream dout2 = new DataOutputStream(ba2);ObjectOutputStream obout = new ObjectOutputStream(dout2);//定義兩個bean，作為序列化的源對象ItemBeanSer itemBeanSer = new ItemBeanSer(1000L, 89.9f);ItemBean itemBean = new ItemBean(1000L, 89.9f);//用于比較String類型和Text類型的序列化差別Text atext = new Text("a");// atext.write(dout);itemBean.write(dout);byte[] byteArray = ba.toByteArray();//比較序列化結果System.out.println(byteArray.length);for (byte b : byteArray) {System.out.print(b);System.out.print(":");}System.out.println("-----------------------");String astr = "a";// dout2.writeUTF(astr);obout.writeObject(itemBeanSer);byte[] byteArray2 = ba2.toByteArray();System.out.println(byteArray2.length);for (byte b : byteArray2) {System.out.print(b);System.out.print(":");}} }

• mapreduce的排序初步

MR程序在處理數據的過程中會對數據排序，排序的依據是mapper輸出的key

總結

以上是生活随笔為你收集整理的Hadoop大数据——mapreduce中的Combiner/序列化/排序初步的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。