hadoop 计数器
生活随笔
收集整理的這篇文章主要介紹了
hadoop 计数器
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、hadoop有非常多自帶的計數器,相信看過執行log的都會看到各種數據 二、用戶自己定義計數器 在開發中常常須要記錄錯誤的數據條數,就能夠用計數器來解決。
2、使用 在map和reduce端均可使用,job會在技術后收集數據。 在須要記錄的地方: context.getCounter(RecordsCounter.WRONG_COUNTER).increment(1);
在run函數中,在job運行完后得到結果: Counters counters = job.getCounters(); Counter counter = counters.findCounter(RecordsCounter.WRONG_COUNTER); Long wrongCount = counter.getValue();
1、定義:用一個枚舉來定義一組計數器,枚舉中的每一個元素都是一個計數器
在main類中定義
enum RecordsCounter{RIGHT_COUNTER,WRONG_COUNTER};2、使用 在map和reduce端均可使用,job會在技術后收集數據。 在須要記錄的地方: context.getCounter(RecordsCounter.WRONG_COUNTER).increment(1);
在run函數中,在job運行完后得到結果: Counters counters = job.getCounters(); Counter counter = counters.findCounter(RecordsCounter.WRONG_COUNTER); Long wrongCount = counter.getValue();
轉載于:https://www.cnblogs.com/jzssuanfa/p/7121243.html
總結
以上是生活随笔為你收集整理的hadoop 计数器的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: [bzoj4625][BeiJing20
- 下一篇: iOS 更改项目名称