一、MapReduce

MapReduce是Google提出的一個(gè)軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（歸納）”，及他們的主要思想，都是從函數(shù)式編程語(yǔ)言借來(lái)的，還有從矢量編程語(yǔ)言借來(lái)的特性。

當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸納）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

---

二、MapReduce開(kāi)發(fā)環(huán)境搭建

環(huán)境準(zhǔn)備： Java， Intellij IDEA， Maven
開(kāi)發(fā)環(huán)境搭建方式

java安裝鏈接及步驟：https://www.cnblogs.com/de-ming/p/13909440.html

2.1、Maven環(huán)境

添加依賴

https://search.maven.org/artifact/org.apache.hadoop/hadoop-client/3.1.4/jar

添加源碼

2.2、手動(dòng)導(dǎo)入Jar包

Hadoop安裝包鏈接：https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取碼：cgnb

新建一個(gè)java工程


然后，搜JobClient.class，點(diǎn)擊’Choose Sources’

這樣就OK了，可以看到JobClient.java

三、MapReduce單詞計(jì)數(shù)源碼分析

3.1、打開(kāi)WordCount.java

打開(kāi)：https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-examples/3.1.4，復(fù)制Maven里面的內(nèi)容

粘貼到源碼

搜索WordCount

3.2、源碼分析

3.2.1、MapReduce單詞計(jì)數(shù)源碼 : Map任務(wù)

3.2.2、MapReduce單詞計(jì)數(shù)源碼 : Reduce任務(wù)

3.2.3、MapReduce單詞計(jì)數(shù)源碼 : main 函數(shù)

設(shè)置必要參數(shù)及組裝MapReduce程序

總結(jié)

以上是生活随笔為你收集整理的学习笔记Hadoop（十三）—— MapReduce开发入门（1）—— MapReduce开发环境搭建、MapReduce单词计数源码分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。