一、MapReduce

MapReduce是Google提出的一個軟件架構，用于大規模數據集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（歸納）”，及他們的主要思想，都是從函數式編程語言借來的，還有從矢量編程語言借來的特性。

當前的軟件實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce（歸納）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

---

二、MapReduce開發環境搭建

環境準備： Java， Intellij IDEA， Maven
開發環境搭建方式

java安裝鏈接及步驟：https://www.cnblogs.com/de-ming/p/13909440.html

2.1、Maven環境

添加依賴

https://search.maven.org/artifact/org.apache.hadoop/hadoop-client/3.1.4/jar

添加源碼

2.2、手動導入Jar包

Hadoop安裝包鏈接：https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取碼：cgnb

新建一個java工程


然后，搜JobClient.class，點擊’Choose Sources’

這樣就OK了，可以看到JobClient.java

三、MapReduce單詞計數源碼分析

3.1、打開WordCount.java

打開：https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-examples/3.1.4，復制Maven里面的內容

粘貼到源碼

搜索WordCount

3.2、源碼分析

3.2.1、MapReduce單詞計數源碼 : Map任務

3.2.2、MapReduce單詞計數源碼 : Reduce任務

3.2.3、MapReduce單詞計數源碼 : main 函數

設置必要參數及組裝MapReduce程序

總結

以上是生活随笔為你收集整理的学习笔记Hadoop（十三）—— MapReduce开发入门（1）—— MapReduce开发环境搭建、MapReduce单词计数源码分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。