MapReduce的编程规范
MapReduce 編程規(guī)范
MapReduce 的開(kāi)發(fā)一共有八個(gè)步驟, 其中 Map 階段分為 2 個(gè)步驟,Shuffle 階段 4個(gè)步驟,Reduce 階段分為 2 個(gè)步驟
Map 階段 2 個(gè)步驟
1. 設(shè)置 InputFormat 類(lèi), 將數(shù)據(jù)切分為 Key-Value(K1和V1) 對(duì), 輸入到第二步
2. 自定義 Map 邏輯, 將第一步的結(jié)果轉(zhuǎn)換成另外的 Key-Value(K2和V2) 對(duì), 輸出結(jié)果
Shuffle 階段 4 個(gè)步驟
1. 對(duì)輸出的 Key-Value 對(duì)進(jìn)行分區(qū)
2. 對(duì)不同分區(qū)的數(shù)據(jù)按照相同的 Key 排序
3. (可選) 對(duì)分組過(guò)的數(shù)據(jù)初步規(guī)約, 降低數(shù)據(jù)的網(wǎng)絡(luò)拷貝
4. 對(duì)數(shù)據(jù)進(jìn)行分組, 相同 Key 的 Value 放入一個(gè)集合中
Reduce 階段 2 個(gè)步驟
1. 對(duì)多個(gè) Map 任務(wù)的結(jié)果進(jìn)行排序以及合并, 編寫(xiě) Reduce 函數(shù)實(shí)現(xiàn)自己的邏輯, 對(duì)輸入的 Key-Value 進(jìn)行處理, 轉(zhuǎn)為新的 Key-Value(K3和V3)輸出
2. 設(shè)置 OutputFormat 處理并保存 Reduce 輸出的 Key-Value 數(shù)據(jù)
總結(jié)
以上是生活随笔為你收集整理的MapReduce的编程规范的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: MapReduce的构思和框架结构
- 下一篇: MapReduce案例-wordcoun