MapReduce框架中map、reduce方法的運(yùn)行機(jī)制

? ??? Hadoop的API中提供了Mapper和Reducer抽象類，分別有個抽象map()方法和reduce()方法，使用時只需實現(xiàn)該抽象類和抽象方法即可。
? ? ? map()方法主要是將字符串解析成鍵值對（Key-Value）的形式，比如（Key=Hello，Value=1），然后發(fā)給Reducer端進(jìn)行統(tǒng)計。
? ? ? reduce()方法主要功能是：先獲取map()方法的Key-Value結(jié)果；然后把相同的Key發(fā)送到同一個reduce里進(jìn)行處理；在進(jìn)行迭代Key，把Value相加；最后把結(jié)果寫到HDFS系統(tǒng)中。


【尊重原創(chuàng)，轉(zhuǎn)載請注明出處】http://blog.csdn.net/guyuealian/article/details/51354514

總結(jié)

以上是生活随笔為你收集整理的MapReduce框架中map、reduce方法的运行机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。