2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，我這里用了9999端口。

3.下載jmx_exporter,鏈接 https://github.com/prometheus/jmx_exporter, 我將文件放在/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar;

4.創(chuàng)建文件kafka-agent.yaml, 我放在/opt/kafka/kafka_2.11-1.0.0, 內(nèi)容為你需要的kafka metrics

hostPort: 127.0.0.1:9999 # 這里9999為設(shè)置的jmx端口

lowercaseOutputName: true

whitelistObjectNames:

"kafka.controller:type=KafkaController,name=OfflinePartitionsCount"

"kafka.controller:type=KafkaController,name=ActiveControllerCount"

5.再次修改bin/kafka-server-start.sh,

添加 export KAFKA_OPTS="-javaagent:/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar=9990:/opt/kafka

/kafka_2.11-1.0.0/kafka-agent.yaml";

注意jmx_prometheus_javaagent-0.9.jar=9990:, 9990為jmx_exporter提供數(shù)據(jù)的端口，之后我們訪問http://xxx.xxx.xxx:9990/metrics就能獲得需要的metrics數(shù)據(jù):

如下：

kafka_server_brokertopicmetrics_fiveminuterate{name="TotalFetchRequestsPerSec",} 79706.84209535549

kafka_server_brokertopicmetrics_fiveminuterate{name="TotalProduceRequestsPerSec",} 214.84898012003208

...

6.如果使用了prometheus來抓取數(shù)據(jù)，只要增加prometheus抓取目標(biāo)源如下, 再結(jié)合grafana來做監(jiān)控看板。

- job_name: kafka-jmx

static_configs:

- targets:

- xxx.com:9990

- xxx:9990

- xxx:9990

注：當(dāng)然你也可以使用傳統(tǒng) 的jmx監(jiān)控 bean 獲取kafa的 metric數(shù)據(jù)

總結(jié)

以上是生活随笔為你收集整理的kafka metric java,jmx_exporter+prometheus+grafana实现kafka metric监控的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。