計數器名稱

說明

map 輸入的記錄數（MAP_INPUT_RECORDS）

作業中所有 map 已處理的輸入記錄數。每次 RecorderReader 讀到一條記錄并將其傳給 map 的 map() 函數時，該計數器的值增加。

map 跳過的記錄數（MAP_SKIPPED_RECORDS）

作業中所有 map 跳過的輸入記錄數。

map 輸入的字節數（MAP_INPUT_BYTES）

作業中所有 map 已處理的未經壓縮的輸入數據的字節數。每次 RecorderReader 讀到一條記錄并 將其傳給 map 的 map() 函數時，該計數器的值增加

分片split的原始字節數（SPLIT_RAW_BYTES）

由 map 讀取的輸入-分片對象的字節數。這些對象描述分片元數據（文件的位移和長度），而不是分片的數據自身，因此總規模是小的

map 輸出的記錄數（MAP_OUTPUT_RECORDS）

作業中所有 map 產生的 map 輸出記錄數。每次某一個 map 的Context 調用 write() 方法時，該計數器的值增加

map 輸出的字節數（MAP_OUTPUT_BYTES）

作業中所有 map 產生的 未經壓縮的輸出數據的字節數。每次某一個 map 的 Context 調用 write() 方法時，該計數器的值增加。

map 輸出的物化字節數（MAP_OUTPUT_MATERIALIZED_BYTES）

map 輸出后確實寫到磁盤上的字節數；若 map 輸出壓縮功能被啟用，則會在計數器值上反映出來

combine 輸入的記錄數（COMBINE_INPUT_RECORDS）

作業中所有 Combiner（如果有）已處理的輸入記錄數。Combiner 的迭代器每次讀一個值，該計數器的值增加。

combine 輸出的記錄數（COMBINE_OUTPUT_RECORDS）

作業中所有 Combiner（如果有）已產生的輸出記錄數。每當一個 Combiner 的 Context 調用 write() 方法時，該計數器的值增加。

reduce 輸入的組（REDUCE_INPUT_GROUPS）

作業中所有 reducer 已經處理的不同的碼分組的個數。每當某一個 reducer 的 reduce() 被調用時，該計數器的值增加。

reduce 輸入的記錄數（REDUCE_INPUT_RECORDS）

作業中所有 reducer 已經處理的輸入記錄的個數。每當某個 reducer 的迭代器讀一個值時，該計數器的值增加。如果所有 reducer 已經處理完所有輸入， 則該計數器的值與計數器 “map 輸出的記錄” 的值相同

reduce 輸出的記錄數（REDUCE_OUTPUT_RECORDS）

作業中所有 map 已經產生的 reduce 輸出記錄數。每當某一個 reducer 的 Context 調用 write() 方法時，該計數器的值增加。

reduce 跳過的組數（REDUCE_SKIPPED_GROUPS）

作業中所有 reducer 已經跳過的不同的碼分組的個數。

reduce 跳過的記錄數（REDUCE_SKIPPED_RECORDS）

作業中所有 reducer 已經跳過輸入記錄數。

reduce 經過 shuffle 的字節數（REDUCE_SHUFFLE_BYTES）

shuffle 將 map 的輸出數據復制到 reducer 中的字節數。

溢出的記錄數（SPILLED_RECORDS）

作業中所有 map和reduce 任務溢出到磁盤的記錄數

CPU 毫秒（CPU_MILLISECONDS）

總計的 CPU 時間，以毫秒為單位，由/proc/cpuinfo獲取

物理內存字節數（PHYSICAL_MEMORY_BYTES）

一個任務所用物理內存的字節數，由/proc/cpuinfo獲取

虛擬內存字節數（VIRTUAL_MEMORY_BYTES）

一個任務所用虛擬內存的字節數，由/proc/cpuinfo獲取

有效的堆字節數（COMMITTED_HEAP_BYTES）

在 JVM 中的總有效內存量（以字節為單位），可由Runtime().getRuntime().totaoMemory()獲取。

GC 運行時間毫秒數（GC_TIME_MILLIS）

在任務執行過程中，垃圾收集器（garbage collection）花費的時間（以毫秒為單位）， 可由 GarbageCollector MXBean.getCollectionTime()獲取；該計數器并未出現在1.x版本中。

由 shuffle 傳輸的 map 輸出數（SHUFFLED_MAPS）

有 shuffle 傳輸到 reducer 的 map 輸出文件數。

失敗的 shuffle 數（SHUFFLE_MAPS）

在 shuffle 過程中，發生拷貝錯誤的 map 輸出文件數，該計數器并沒有包含在 1.x 版本中。

被合并的 map 輸出數

在 shuffle 過程中，在 reduce 端被合并的 map 輸出文件數，該計數器沒有包含在 1.x 版本中。

計數器名稱

說明

文件系統的讀字節數（BYTES_READ）

由 map 和 reduce 等任務在各個文件系統中讀取的字節數，各個文件系統分別對應一個計數器，可以是 Local、HDFS、S3和KFS等。

文件系統的寫字節數（BYTES_WRITTEN）

由 map 和 reduce 等任務在各個文件系統中寫的字節數。

計數器名稱

說明

讀取的字節數（BYTES_READ）

由 map 任務通過 FileInputFormat 讀取的字節數。

計數器名稱

說明

寫的字節數（BYTES_WRITTEN）

由 map 任務（針對僅含 map 的作業）或者 reduce 任務通過 FileOutputFormat 寫的字節數。

計數器名稱

說明

啟用的map任務數（TOTAL_LAUNCHED_MAPS）

啟動的map任務數，包括以“推測執行” 方式啟動的任務。

啟用的 reduce 任務數（TOTAL_LAUNCHED_REDUCES）

啟動的reduce任務數，包括以“推測執行” 方式啟動的任務。

失敗的map任務數（NUM_FAILED_MAPS）

失敗的map任務數。

失敗的 reduce 任務數（NUM_FAILED_REDUCES）

失敗的reduce任務數。

數據本地化的 map 任務數（DATA_LOCAL_MAPS）

與輸入數據在同一節點的 map 任務數。

機架本地化的 map 任務數（RACK_LOCAL_MAPS）

與輸入數據在同一機架范圍內、但不在同一節點上的 map 任務數。

其它本地化的 map 任務數（OTHER_LOCAL_MAPS）

與輸入數據不在同一機架范圍內的 map 任務數。由于機架之間的寬帶資源相對較少，Hadoop 會盡量讓 map 任務靠近輸入數據執行，因此該計數器值一般比較小。

map 任務的總運行時間（SLOTS_MILLIS_MAPS）

map 任務的總運行時間，單位毫秒。該計數器包括以推測執行方式啟動的任務。

reduce 任務的總運行時間（SLOTS_MILLIS_REDUCES）

reduce任務的總運行時間，單位毫秒。該值包括以推測執行方式啟動的任務。

在保留槽之后，map任務等待的總時間（FALLOW_SLOTS_MILLIS_MAPS）

在為 map 任務保留槽之后所花費的總等待時間，單位是毫秒。

在保留槽之后，reduce 任務等待的總時間（FALLOW_SLOTS_MILLIS_REDUCES）

在為 reduce 任務保留槽之后，花在等待上的總時間，單位為毫秒。