對于經(jīng)常使用Kafka的同學(xué)，擁有一個炫酷又實用的監(jiān)控系統(tǒng)是非常有必要的。可以實時的監(jiān)控數(shù)據(jù)流的情況，了解實時數(shù)據(jù)流的變化。

Kafka Eagle

Kafka Eagle是一個監(jiān)控系統(tǒng)，監(jiān)控Kafka群集以及偏移量，消費者等等。

通過Kafka Eagle可以看到當(dāng)前的消費者組，對于每個組，他們正在使用的主題以及該組在每個主題中的偏移量，消費積壓等等。這對于了解消息隊列消費的速度以及消息隊列消息寫入的速度非常的有用。可以幫助我們調(diào)試Kafka生產(chǎn)者和消費者，也可以對Kafka系統(tǒng)的整體運作情況有一個宏觀的認(rèn)識。

支持的Kafka版本：0.8.2.x，0.9.x，0.10.x，0.11.x，1.x，2.x

支持的系統(tǒng)：Mac OS X，Linux，Windows

JDK： JDK8+

自從Kafka Eagle開源以來，也得到了迅速的發(fā)展，目前GitHub的Star已經(jīng)突破1.5K

下面我們來了解一下Kafka Eagle的核心功能。

功能展示

大屏支持

炫酷的大屏展示，生產(chǎn)者消費者情況，消息積壓情況。

報警支持

自定義報警閾值，觸發(fā)報警

報警消息情況

除了支持email警報外，Kafka Eagle還支持即時消息警報，例如DingDing和WeChat。

消費者組列表和活動圖

消費者組的情況

主題列表明細(xì)

每個主題的具體情況

消費者與生產(chǎn)者圖表

特色功能

偏移量

Kafka的偏移量存儲位置發(fā)生過變化，這一直是監(jiān)控的一大難題。

• Kafka0.8.2之前的版本，偏移量存儲于Zookeeper中。
• 0.10.0以后的Kafka版本默認(rèn)建議在Kafka主題（__consumer_offsets）中。

這兩種Kafka Eagle都支持，Kafka Eagle支持多個偏移量存儲路徑。如果將它們存儲在Zookeeper和Kafka中，則可以像這樣配置它們。

# Set kafka cluster alias kafka.eagle.zk.cluster.alias=cluster1,cluster2# Set kafka cluster zookeeper address cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181 cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181# Set kafka cluster offset storage path cluster1.kafka.eagle.offset.storage=kafka cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL語法查詢Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

總結(jié)

以上是生活随笔為你收集整理的kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。