大致思路是將hdfs上的文本作為輸入，MapReduce通過InputFormat會(huì)將文本進(jìn)行切片處理，并將每行的首字母相對于文本文件的首地址的偏移量作為輸入鍵值對的key，文本內(nèi)容作為輸入鍵值對的value，經(jīng)過在map函數(shù)處理，輸出中間結(jié)果<word,1>的形式，并在reduce函數(shù)中完成對每個(gè)單詞的詞頻統(tǒng)計(jì)。整個(gè)程序代碼主要包括兩部分：Mapper部分和Reducer部分。

?

Mapper代碼

?

public static class doMapper extends Mapper<Object, Text, Text, IntWritable>{ //第一個(gè)Object表示輸入key的類型；第二個(gè)Text表示輸入value的類型；第三個(gè)Text表示表示輸出鍵的類型；第四個(gè)IntWritable表示輸出值的類型??public static final IntWritable one = new IntWritable(1); public static Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException//拋出異常 { StringTokenizer tokenizer = new StringTokenizer(value.toString(), " "); //StringTokenizer是Java工具包中的一個(gè)類，用于將字符串進(jìn)行拆分while(tokenizer.hasMoreTokens()) //循環(huán)每一行拆分出的所有單詞 { word.set(tokenizer.nextToken());?//返回當(dāng)前位置到下一個(gè)分隔符之間的字符串context.write(word, one); //將word存到容器中，記一個(gè)數(shù)?? }} }

?

在map函數(shù)里有三個(gè)參數(shù)，前面兩個(gè)Object key,Text value就是輸入的key和value，第三個(gè)參數(shù)Context context是可以記錄輸入的key和value。例如context.write(word,one)；此外context還會(huì)記錄map運(yùn)算的狀態(tài)。map階段采用Hadoop的默認(rèn)的作業(yè)輸入方式，把輸入的value用StringTokenizer()方法截取出的單詞設(shè)置為key，設(shè)置value為1，然后直接輸出<key,value>。

?

Reducer代碼

?

public static class doReducer extends Reducer<Text, IntWritable, Text, IntWritable>{ //參數(shù)同Map一樣，依次表示是輸入鍵類型，輸入值類型，輸出鍵類型，輸出值類型private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } //for循環(huán)遍歷，將得到的values值累加?? result.set(sum); System.out.println(sum);context.write(key, result); } }

?

map輸出的<key,value>先要經(jīng)過shuffle過程把相同key值的所有value聚集起來形成<key,values>后交給reduce端。reduce端接收到<key,values>之后，將輸入的key直接復(fù)制給輸出的key,用for循環(huán)遍歷values并求和，求和結(jié)果就是key值代表的單詞出現(xiàn)的總次，將其設(shè)置為value，直接輸出<key,value>。

完整代碼：

?

import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Job job = Job.getInstance(); job.setJobName("WordCount"); job.setJarByClass(WordCount.class); job.setMapperClass(doMapper.class); job.setReducerClass(doReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); Path in = new Path("hdfs://192.168.68.130:9000/user/hadoop/wordcount.txt"); //需要統(tǒng)計(jì)的文本所在位置 Path out = new Path("hdfs://192.168.68.130:9000/user/hadoop/output3"); //注意output3不能存在 FileInputFormat.addInputPath(job, in); FileOutputFormat.setOutputPath(job, out); System.exit(job.waitForCompletion(true) ? 0 : 1); } public static class doMapper extends Mapper<Object, Text, Text, IntWritable>{ public static final IntWritable one = new IntWritable(1); public static Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer tokenizer = new StringTokenizer(value.toString(), " "); while(tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken());context.write(word, one); }} } public static class doReducer extends Reducer<Text, IntWritable, Text, IntWritable>{ private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } result.set(sum); System.out.println(sum);context.write(key, result); } } }

?

轉(zhuǎn)載于:https://www.cnblogs.com/sakura--/p/11448874.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop实例之利用MapReduce实现Wordcount单词统计 (附源代码)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。