• mapreduce中的Combiner

（1）combiner是MR程序中Mapper和Reducer之外的一種組件
（2）combiner組件的父類就是Reducer
（3）Combiner和reducer的區(qū)別在于運(yùn)行的位置：
Combiner是在每一個(gè)maptask所在的節(jié)點(diǎn)運(yùn)行
Reducer是接收全局所有Mapper的輸出結(jié)果；

• mapreduce中的序列化

（1）Java的序列化是一個(gè)重量級序列化框架（Serializable），一個(gè)對象被序列化后，會附帶很多額外的信息（各種校驗(yàn)信息，header，繼承體系。。。。），所以很臃腫，不便于在網(wǎng)絡(luò)中高效傳輸；
所以，hadoop自己開發(fā)了一套序列化機(jī)制（Writable），精簡，高效
簡單代碼驗(yàn)證兩種序列化機(jī)制的差別：

public class TestSeri {public static void main(String[] args) throws Exception {//定義兩個(gè)ByteArrayOutputStream，用來接收不同序列化機(jī)制的序列化結(jié)果ByteArrayOutputStream ba = new ByteArrayOutputStream();ByteArrayOutputStream ba2 = new ByteArrayOutputStream();//定義兩個(gè)DataOutputStream，用于將普通對象進(jìn)行jdk標(biāo)準(zhǔn)序列化DataOutputStream dout = new DataOutputStream(ba);DataOutputStream dout2 = new DataOutputStream(ba2);ObjectOutputStream obout = new ObjectOutputStream(dout2);//定義兩個(gè)bean，作為序列化的源對象ItemBeanSer itemBeanSer = new ItemBeanSer(1000L, 89.9f);ItemBean itemBean = new ItemBean(1000L, 89.9f);//用于比較String類型和Text類型的序列化差別Text atext = new Text("a");// atext.write(dout);itemBean.write(dout);byte[] byteArray = ba.toByteArray();//比較序列化結(jié)果System.out.println(byteArray.length);for (byte b : byteArray) {System.out.print(b);System.out.print(":");}System.out.println("-----------------------");String astr = "a";// dout2.writeUTF(astr);obout.writeObject(itemBeanSer);byte[] byteArray2 = ba2.toByteArray();System.out.println(byteArray2.length);for (byte b : byteArray2) {System.out.print(b);System.out.print(":");}} }

• mapreduce的排序初步

MR程序在處理數(shù)據(jù)的過程中會對數(shù)據(jù)排序，排序的依據(jù)是mapper輸出的key

總結(jié)

以上是生活随笔為你收集整理的Hadoop大数据——mapreduce中的Combiner/序列化/排序初步的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。