MapReduce 編程規(guī)范

MapReduce 的開(kāi)發(fā)一共有八個(gè)步驟, 其中 Map 階段分為 2 個(gè)步驟，Shuffle 階段 4個(gè)步驟，Reduce 階段分為 2 個(gè)步驟

Map 階段 2 個(gè)步驟

1. 設(shè)置 InputFormat 類(lèi), 將數(shù)據(jù)切分為 Key-Value(K1和V1) 對(duì), 輸入到第二步

2. 自定義 Map 邏輯, 將第一步的結(jié)果轉(zhuǎn)換成另外的 Key-Value（K2和V2） 對(duì), 輸出結(jié)果

Shuffle 階段 4 個(gè)步驟

1. 對(duì)輸出的 Key-Value 對(duì)進(jìn)行分區(qū)
2. 對(duì)不同分區(qū)的數(shù)據(jù)按照相同的 Key 排序
3. (可選) 對(duì)分組過(guò)的數(shù)據(jù)初步規(guī)約, 降低數(shù)據(jù)的網(wǎng)絡(luò)拷貝
4. 對(duì)數(shù)據(jù)進(jìn)行分組, 相同 Key 的 Value 放入一個(gè)集合中

Reduce 階段 2 個(gè)步驟

1. 對(duì)多個(gè) Map 任務(wù)的結(jié)果進(jìn)行排序以及合并, 編寫(xiě) Reduce 函數(shù)實(shí)現(xiàn)自己的邏輯, 對(duì)輸入的 Key-Value 進(jìn)行處理, 轉(zhuǎn)為新的 Key-Value（K3和V3）輸出
2. 設(shè)置 OutputFormat 處理并保存 Reduce 輸出的 Key-Value 數(shù)據(jù)

總結(jié)

以上是生活随笔為你收集整理的MapReduce的编程规范的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。