1. 最經典的方法通過打印語句來調試程序

??? System.err.println("Bad Data"+value.toString());

??? 這些輸出錯誤都會記錄到一個標準錯誤中，可以通過WebUI進行查看

2.可以創建一個自定義計數器來統計整個數據集中不合理的數據的數量。

? 首先創建一個enum?

? enum BAD_DATA{

????? BAD_DATA_1,

????? BAD_DATA_2

? }

if(strs[1].split(",")!=null&&strs[1].split(",").length>11){
???? frontValues.add(strs[1].split(",")[10]);
???? afterValues.add(strs[1].split(",")[11]);
}else{
　　System.err.println("Bad Data:"+value.toString());
?? ?? context.getCounter(BAD_DATA.BAD_DATA_1).increment(1);
?? ?? context.setStatus("Error Data");
}

也可以通過WEB UI 查看計數器的個數

?

?

?

轉載于:https://www.cnblogs.com/oftenlin/p/3592120.html

總結

以上是生活随笔為你收集整理的MapReduce 作业调试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。