目錄

?

簡介

安裝

啟動kafka-manager

測試kafka-manager

輸出信息關(guān)鍵參數(shù)

---

簡介

Kafka默認(rèn)是沒有web界面的，需要自己安裝web界面監(jiān)控工具

可以使用三方開源的監(jiān)控工具，查詢了些資料，網(wǎng)上流傳最多的有三個監(jiān)控工具：

Kafka Web Conslole

Kafka Manager

KafkaOffsetMonitor

（其中Kafka Web Conslole程序運(yùn)行后，會定時去讀取kafka集群分區(qū)的日志長度，讀取完畢后，連接沒有正常釋放，一段時間后產(chǎn)生大量的socket連接，導(dǎo)致網(wǎng)絡(luò)堵塞，所以不建議使用；KafkaOffsetMonitor 相對上面來說，這個工具耦合性比較低，單用于監(jiān)控比較適合而且部署很簡單，但是需要考慮版本兼容等問題，導(dǎo)致需要自己編譯；kafka manager是目前最受歡迎的kafka集群管理工具，最早由雅虎開源，用戶可以在Web界面執(zhí)行一些簡單的集群管理操作）

若只需要監(jiān)控功能，推薦使用KafkaOffsetMonitor，若偏重Kafka集群管理，推薦使用Kafka?Manager

安裝

解壓安裝重命名kafka-manager-1.3.3.7.zip安裝包

? ? ? ? ? unzip kafka-manager-1.3.3.7.zip

? ? ? ? ? mv kafka-manager-1.3.3.7 kafka-manager

? ? ?2.修改conf/application.conf配置文件

? ? ? ??

? ? ? ??將kafka-manager.zkhosts注釋掉并修改為zookeeper地址

? ? ? ??

啟動kafka-manager

后臺啟動kafka-manager

? ? ? ? ?Kafka-manager默認(rèn)端口是9000，可以通過 -Dhttp.port,指定端口；-Dconfig.file=conf/application.conf 指定配置文件，命令? ? ? ? ? ?如下：

? ? ? ? ?nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9011 &

? ? ?2.使用jps查看kafka-manager進(jìn)程

? ? ? ? 其中ProdServerStart即為kafka-manager的進(jìn)程

? ? ? ??

? ? ?3.在瀏覽器上輸入ip:端口號（我這里是10.103.104.181:9011）進(jìn)行訪問

? ? ? ? 出現(xiàn)如下界面則kafka-manager安裝成功

? ? ? ??

測試kafka-manager

? ? ? ? 1、新建一個cluster

? ? ? ? 點(diǎn)擊Cluster->Add Cluster

? ? ? ??

? ? ? ? ??

? ? ? 其他的配置可以根據(jù)自己的需要進(jìn)行配置，我這里全部都選擇默認(rèn)

? ? ? 滑到最下面，點(diǎn)擊Save保存，你會看到這個界面

? ? ??

? ? ? 2、管理和使用kafka-manage

? ? ? ? ?點(diǎn)擊Cluster，再點(diǎn)擊kafka-cluster-181-182-183可以查看kafka集群的詳細(xì)信息

? ? ? ? ?

? ? ? ??

? ? ? ??點(diǎn)擊上面的Brokers可以查看當(dāng)前的broker信息

? ? ? ??

? ? ? ??創(chuàng)建topic

? ? ? ??

? ? ? ??查看topic信息

? ? ? ??

? ? ? ??

輸出信息關(guān)鍵參數(shù)

Operations列表參數(shù)說明：

Generate Partition Assignments:

對多個topic來進(jìn)行分區(qū)重分布計劃的生成，知道就好，不推薦使用。

Run Partition Assignments:

對多個topic分區(qū)執(zhí)行重分布計劃，知道就好，不推薦使用。

Add Partitions：

對多個topic來進(jìn)行添加分區(qū)操作，生成環(huán)境并不建議大家這樣搞，避免誤操作。

Topics列表參數(shù)說明：

Topic:

表示topic名稱。

--consumer_offsets是kafka內(nèi)置保存consumer offset的topic.

Partitions:

?? topic對應(yīng)的分區(qū)數(shù)

Brokers:

topic對應(yīng)的broker數(shù)

Brokers Spread%:

指broker的分布比例，計算公式:用topic的分區(qū)分布的broker數(shù)/總的broker數(shù)量。Brokers Skew %:

? Brokers的偏斜比例，計算公式:(Broker最多的分區(qū)數(shù)/Brokers最少的分區(qū)數(shù)) -1

Brokers Leader Skew%:

Brokers的leader偏斜比例，計算公式:(Broker最多的leader分區(qū)數(shù)/Brokers最少leader

的分區(qū)數(shù)) -1

Replicas:

? 副本因子，即副本數(shù)。

Under Replicated %:

? 副本不足的比例，計算公式:副本不足的分區(qū)數(shù)/總分區(qū)數(shù)

Producer Message/Sec:

? 每秒產(chǎn)生的消息數(shù)量。

Summed Recent Offsets:

??? ??當(dāng)前總計的消費(fèi)偏移量。

?

總結(jié)

以上是生活随笔為你收集整理的Kafka安装web界面监控工具（kafka-manager）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。