文章目錄

• 目錄
• • 1.MapReduce介紹
  • • 1.1 什么是分布式并行編程？
    • 1.2 MapReduce模型介紹
    • 1.3 map和reduce函數
  • 2.MapReduce體系架構
  • 3.MapReduce工作流程
  • • 3.1 概述
    • 3.2 MapReduce各個階段介紹
    • 3.3 shuffle過程介紹
    • • 3.3.1 shuffle過程簡介
      • 3.3.2 map中的shuffle過程
      • 3.3.3 reduce中的shuffle過程
      • 3.3.4 MapReduce應用程序執行過程
  • 4.MapReduce具體應用
  • • 4.1 wordCount
    • • 4.1.1 程序的任務
      • 4.1.2 設計思路
      • 4.1.3 執行過程
    • 4.2 關系表的自然連接
  • 5.MapReduce編程實踐
  • • 5.1 任務
    • 5.2 編寫map處理邏輯
    • 5.3 編寫reduce處理邏輯
    • 5.4 編寫main方法
    • 5.5 打包編譯程序
    • 5.6MapReduce中執行MapReduce其他方法
  • 6.總結

目錄

1.MapReduce介紹

1.1 什么是分布式并行編程？

傳統的并行計算框架：cuda,MPI,OPENMP等等
參考博客

1.2 MapReduce模型介紹

1.3 map和reduce函數

結合操作：對鍵相同的數據的值進行相加
歸并操作：對鍵相同的數據的值組合成一個數組

2.MapReduce體系架構

3.MapReduce工作流程

3.1 概述

3.2 MapReduce各個階段介紹

3.3 shuffle過程介紹

3.3.1 shuffle過程簡介

3.3.2 map中的shuffle過程

3.3.3 reduce中的shuffle過程

3.3.4 MapReduce應用程序執行過程

map和reduce執行過程中產生的數據都是存儲在其本地計算機內部，這樣可以避免頻繁的通信造成的延遲和不必要的錯誤。

4.MapReduce具體應用

4.1 wordCount

4.1.1 程序的任務

4.1.2 設計思路

只要問題可以滿足分治的思想解決的，都可以使用MapReduce程序解決

4.1.3 執行過程

4.2 關系表的自然連接

5.MapReduce編程實踐

參考博客

5.1 任務

5.2 編寫map處理邏輯

5.3 編寫reduce處理邏輯

5.4 編寫main方法

完整代碼

5.5 打包編譯程序

5.6MapReduce中執行MapReduce其他方法

6.總結

總結

以上是生活随笔為你收集整理的大数据学习（07）--MapReduce的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。