目錄

MapReduce編程規范

WordCount案例實操

環境準備

---

MapReduce編程規范

用戶編寫的程序分成三個部分：Mapper、Reducer、Driver

1、Mapper階段

1)用戶自定義的Mapper要繼承自己的父類。

2）Mapper的輸入數據是KV對的形式（KV的類型可自定義）

3）Mapper中的業務邏輯寫在map（）方法中。

4）Mapper的輸出數據是KV對的形式（KV的類型可自定義）

5）map（）方法（MapTask進程）對每一個<K,V>調用一次。

2、Reducer階段

1）用戶自定義的Reducer要繼承自己的父類。

2）Reducer的輸入數據類型對應Mapper的輸出數據類型，也是KV。

3）Reducer的業務邏輯寫在reduce()方法中。

4）ReduceTask進程對每一組相同k的<k,v>組調用一次reduce（）方法。

3、Driver階段

相當于YARN集群的客戶端，用于提交我們整個程序到YARN集群，提交的是封裝了MapReduce程序相關運行參數的job對象。

WordCount案例實操

本地測試

1、需求

統計出給出的文本文件中統計出每一個單詞出現的總次數。

1)輸入數據

新建一個文本文件命名為：HYF.txt

2)期望輸出數據

HYF 2；LJY1;LQQ 2；

CZF 1;? MGQ 1;CDH 2; WJJ 1;

2、需求分析

按照MapReduce編程規范，分別編寫Mapper、Reducer、Driver。

環境準備

1）常見waven工程，命名為MapReduceDemo

文件》新建》項目

?

?更改maven下的配置

文件》設置》搜索欄》輸入maven

在pom.xml文件中添加如下依賴?

<dependencies>

????<dependency>

????????<groupId>org.apache.hadoop</groupId>

????????<artifactId>hadoop-client</artifactId>

????????<version>3.1.3</version>

????</dependency>

????<dependency>

????????<groupId>junit</groupId>

????????<artifactId>junit</artifactId>

????????<version>4.12</version>

????</dependency>

????<dependency>

????????<groupId>org.slf4j</groupId>

????????<artifactId>slf4j-log4j12</artifactId>

????????<version>1.7.30</version>

????</dependency>

</dependencies>

在項目的src/main/resources目錄下，新建一個文件，命名為“log4j.properties”?

?操作：在resources下單擊右鍵》新建》文件

?在log4j.properties文件中填入

log4j.rootLogger=INFO, stdout ?

log4j.appender.stdout=org.apache.log4j.ConsoleAppender ?

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout ?

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n ?

log4j.appender.logfile=org.apache.log4j.FileAppender ?

log4j.appender.logfile.File=target/spring.log ?

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout ?

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

?在項目src/main/java下創建一個 軟件包，命名為：com.atguigu.mapreduce.wordcou

操作：java路徑下單擊右鍵》新建》軟件包

?在包com.atguigu.mapreduce.wordcount下新建三個類

分別命名為：

WordCountMapper；WordCountReducer；WordCountDriver

操作：在包下單擊右鍵》新建》java類

總結

以上是生活随笔為你收集整理的MapReduce环境准备的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。