[MapReduce_add_4] MapReduce 的 join 操作
生活随笔
收集整理的這篇文章主要介紹了
[MapReduce_add_4] MapReduce 的 join 操作
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?0. 說明
Map 端 join &&?Reduce 端 join
?
?
1. Map 端 join
Map 端 join:大表+小表 => 將小表加入到內存,迭代大表每一行,與之進行拼串操作
Map 端 join 代碼
?
?
?
2. Reduce 端 join
Reduce 端 join: 大表+大表
?
1. 獲取文件名 (FileSplit)context.getSplit()
2. 將 order 數據添加標記位 1 將 customer 數據添加標記位 2
3. 重寫CompKey,將 id 和 flag 的組合鍵進行排序
4. 重寫分組對比器,將 id 相同的數據放在一個 reduce 循環
?
Reduce 端 join 代碼
?
?
?
轉載于:https://www.cnblogs.com/share23/p/9949427.html
總結
以上是生活随笔為你收集整理的[MapReduce_add_4] MapReduce 的 join 操作的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java.util.concurrent
- 下一篇: [每日短篇] E - Base64 编码