1． 計(jì)數(shù)器應(yīng)用
計(jì)數(shù)器是用來記錄job的執(zhí)行進(jìn)度和狀態(tài)的。MapReduce 計(jì)數(shù)器（Counter）為我們提供一個(gè)窗口，用于觀察 MapReduce Job 運(yùn)行期的各種細(xì)節(jié)數(shù)據(jù)。對(duì)MapReduce性能調(diào)優(yōu)很有幫助，MapReduce性能優(yōu)化的評(píng)估大部分都是基于這些 Counter 的數(shù)值表現(xiàn)出來的。
MapReduce 自帶了許多默認(rèn)Counter。在執(zhí)行mr程序的日志上，大家也許注意到了類似以下這樣的信息：
Shuffle Errors
BAD_ID=0
CONNECTION=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=89
File Output Format Counters
Bytes Written=86
內(nèi)置計(jì)數(shù)器包括：
文件系統(tǒng)計(jì)數(shù)器（File System Counters）
作業(yè)計(jì)數(shù)器（Job Counters）
MapReduce框架計(jì)數(shù)器（Map-Reduce Framework）
Shuffle 錯(cuò)誤計(jì)數(shù)器（Shuffle Errors）
文件輸入格式計(jì)數(shù)器（File Output Format Counters）
文件輸出格式計(jì)數(shù)器（File Input Format Counters）
當(dāng)然， Hadoop也支持自定義計(jì)數(shù)器。在實(shí)際生產(chǎn)代碼中，常常需要將數(shù)據(jù)處理過程中遇到的不合規(guī)數(shù)據(jù)行進(jìn)行全局計(jì)數(shù)，類似這種需求可以借助mapreduce框架中提供的全局計(jì)數(shù)器來實(shí)現(xiàn)。
示例代碼如下：

public class WordCount{static class WordCount Mapper extends Mapper<LongWritable, Text, Text, LongWritable> {@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {Counter counter =context.getCounter(“SelfCounters”,”myCounters”);String[] words = value.toString().split(",");for (String word : words) {if("hello".equals(word)){counter.increment(1)};context.write(new Text(word), new LongWritable(1));}}}

2． 多job串聯(lián)
一個(gè)稍復(fù)雜點(diǎn)的處理邏輯往往需要多個(gè)mapreduce程序串聯(lián)處理，多job的串聯(lián)可以借助mapreduce框架的JobControl實(shí)現(xiàn)
示例代碼：

1. ControlledJob controlledJob1 = new ControlledJob(job1.getConfiguration()); 2. controlledJob1.setJob(job1); 3. ControlledJob controlledJob2 = new ControlledJob(job2.getConfiguration()); 4. controlledJob2.setJob(job2); 5. controlledJob2.addDependingJob(controlledJob1); // job2 依賴于 job16. JobControl jc = new JobControl(chainName); 7. jc.addJob(controlledJob1); 8. jc.addJob(controlledJob2); 9. Thread jcThread = new Thread(jc); 10. jcThread.start(); 11. while(true){ 12. if(jc.allFinished()){ 13. System.out.println(jc.getSuccessfulJobList()); 14. jc.stop(); 15. return 0; 16. } 17. if(jc.getFailedJobList().size() > 0){ 18. System.out.println(jc.getFailedJobList()); 19. jc.stop(); 20. return 1; 21. } 22. }

轉(zhuǎn)載于:https://blog.51cto.com/13587708/2295809

總結(jié)

以上是生活随笔為你收集整理的MapReduce其他功能的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。