戳藍(lán)字“CSDN云計算”關(guān)注我們哦！

?

作者：安靜的技術(shù)控?

來源：CSDN?

原文：

https://blog.csdn.net/a2011480169/article/details/52924955?

版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！

現(xiàn)在大數(shù)據(jù)是越來越火了，而我自己研究這方面也很長時間了，今天就根據(jù)我自己的經(jīng)驗教會大家學(xué)會如何使用MapReduce，下文中將MapReduce簡寫為MR。

本篇博客將結(jié)合實際案例來具體說明MR的每一個知識點。

1、本篇博客核心內(nèi)容

2、MR的基本概念

3、MR中map函數(shù)和reduce函數(shù)如何編寫

4、MR程序的基本編寫流程(MR的基本執(zhí)行過程)

下面將用一個具體的電信業(yè)務(wù)說明MR最基本的編寫過程：
實驗所用數(shù)據(jù):

具體字段描述:

業(yè)務(wù)要求:統(tǒng)計同一個用戶的上行總流量和，下行總流量和以及上下總流量和
例如：

代碼示例：

運(yùn)行結(jié)果：

5、MR程序的優(yōu)化方式1---分區(qū)

具體業(yè)務(wù)描述：對于上面的電信數(shù)據(jù)，統(tǒng)計同一個用戶的上行總流量和，下行總流量和以及上下總流量和，并且手機(jī)號(11位)的信息輸出到一個文件中，非手機(jī)號(8位)的信息輸出到一個文件中

代碼示例

運(yùn)行結(jié)果：

6、MR程序的優(yōu)化方式2---自定義排序

業(yè)務(wù)描述:
對于上面業(yè)務(wù)得到的統(tǒng)計結(jié)果:

---

先按照總流量由低到高排序，在總流量相同的情況下，按照下行流量和從低到高排序:

實例代碼:

運(yùn)行結(jié)果:

7、MR程序的優(yōu)化方式3---本地歸并Combine

具體業(yè)務(wù)描述：對于上面的電信數(shù)據(jù)，統(tǒng)計同一個用戶的上行總流量和，下行總流量和以及上下總流量和，代碼中要求加入本地歸并優(yōu)化方式:
代碼示例：

運(yùn)行結(jié)果：

8、MR程序的優(yōu)化方式4---自定義計數(shù)器

9、如何用MR實現(xiàn)某個業(yè)務(wù)的方式總結(jié)

1.微信群：

添加小編微信：color_ld，備注“進(jìn)群+姓名+公司職位”即可，加入【云計算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

推薦閱讀

• 云計算到底是怎么玩的？

• 面向?qū)ο缶幊?#xff0c;再見！

• AI女性界的“扛把子”，憑一己之力迫使NIPS改名

• 00后也會「玩」區(qū)塊鏈，你對「朝陽」行業(yè)焦慮啥 ？| 圣誕特輯
  

• 20k~65k, 2018年最后一波熱門技術(shù)崗位, 立刻投簡歷, 跳槽才是加薪的捷徑
  

• 可替代Android的6大開源移動操作系統(tǒng)

• 程序員求助：被領(lǐng)導(dǎo)強(qiáng)行要求寫B(tài)ug該怎么辦？網(wǎng)友的回答讓我笑翻
  

點擊“閱讀原文”，查看原文

喜歡就點擊“好看”吧！

總結(jié)

以上是生活随笔為你收集整理的深入理解与应用Hadoop中的MapReduce的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。