Hbase集群監控

Hbase Jmx監控

監控每個regionServer的總請求數，readRequestsCount，writeRequestCount，region分裂，region合并，Store

數據來源：

/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server

設計：

• 1.定時調度Hbase Jmx去撈取數據，數據存放在Mysql，最新的一條數據存放到redis緩存中查（設置過期時間5分鐘）并插入數據庫中(定時每五分鐘調度一次)
• 2.每次獲取Jmx數據后，從redis中獲取5分鐘前的數據，進行計算獲取5分鐘內的數據并保存到數據庫中

查看詳細圖片：

Hbase對每張表的讀寫監控

數據來源：

通過Hbase Java Api

• 連接HBASEorg.apache.hadoop.hbase.client.Connection connection
• 然后獲取org.apache.hadoop.hbase.client.Admin admin = connection.getAdmin();
• 得到HBASE中的regionServer集合，
• 獲取每個regionServer中RegionsLoad()；
• 遍歷RegionLoad獲取每張表的Table Region

查看詳細圖片：

jmx常用監控指標

監控指標范圍指標含義

OpenFileDescriptorCount	Regionserver本機	當前機器打開文件數
FreePhysicalMemorySize	Regionserver本機	空虛物理內存大小
AvailableProcessors	Regionserver本機	可用cpu個數
Region前綴--storeCount	單個region	Store個數
Region前綴--storeFileCount	單個region	Storefile個數
Region前綴--memStoreSize	單個region	Memstore大小
Region前綴--storeFileSize	單個region	Storefile大小
Region前綴--compactionsCompletedCount	單個region	合并完成次數
Region前綴--numBytesCompactedCount	單個region	合并文件總大小
Region前綴-- numFilesCompactedCount	單個region	合并完成文件個數
totalRequestCount	Regionserver	總請求數
readRequestCount	Regionserver	讀請求數
writeRequestCount	Regionserver	寫請求數
compactedCellsCount	Regionserver	合并cell個數
majorCompactedCellsCount	Regionserver	大合并cell個數
flushedCellsSize	Regionserver	flush到磁盤的大小
blockedRequestCount	Regionserver	因memstore大于閾值而引發flush的次數
splitRequestCount	Regionserver	region分裂請求次數
splitSuccessCounnt	Regionserver	region分裂成功次數
slowGetCount	Regionserver	請求完成時間超過1000ms的次數
numOpenConnections	Regionserver	該regionserver打開的連接數
numActiveHandler	Regionserver	rpc handler數
receivedBytes	Regionserver	收到數據量
sentBytes	Regionserver	發出數據量
HeapMemoryUsage --->>>used	Regionserver	堆內存使用量
SyncTime_mean	Regionserver	WAL寫hdfs的平均時間
regionCount	Regionserver	Regionserver管理region數量
memStoreSize	Regionserver	Regionserver管理的總memstoresize
storeFileSize	Regionserver	該Regionserver管理的storefile大小
staticIndexSize	Regionserver	該regionserver所管理的表索引大小
storeFileCount	Regionserver	該regionserver所管理的storefile個數
hlogFileSize	Regionserver	WAL文件大小
hlogFileCount	Regionserver	WAL文件個數
storeCount	Regionserver	該regionserver所管理的store個數
Name: java.lang:type=MemoryPool,name=Par Eden Space CollectionUsage—>>used	Regionserver	Eden區使用空間大小
Name: java.lang:type=MemoryPool,name=CMS Old Gen	Regionserver	老年代內存大小
Name: java.lang:type=MemoryPool,name=Par Survivor Space CollectionUsageà> used	Regionserver	Survivor內存大小
GcTimeMillis	Regionserver	GC總時間
GcTimeMillisParNew	Regionserver	ParNew GC時間
GcCount	Regionserver	GC總次數
GcCountConcurrentMarkSweep	Regionserver	ConcurrentMarkSweep總次數
GcTimeMillisConcurrentMarkSweep	Regionserver	ConcurrentMarkSweep GC時間
ThreadsBlocked	Regionserver	Block線程數
ThreadsWaiting	Regionserver	等待線程數

原文鏈接：http://blogxinxiucan.sh1.newtouch.com/2017/08/10/Hbase集群監控/

---

公眾號：it全能程序猿

---

轉載于:https://www.cnblogs.com/xinxiucan/p/7339004.html

總結

以上是生活随笔為你收集整理的Hbase集群监控的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。