背景問題：

使用kafka的路上踩過不少坑，其中一個(gè)就是在測(cè)試環(huán)境使用kafka一陣子以后，發(fā)現(xiàn)其日志目錄變的很大，占了磁盤很大空間，定位到指定目錄下發(fā)現(xiàn)其中一個(gè)系統(tǒng)自動(dòng)創(chuàng)建的 topic，__consumer_offsets-45（kafka一共創(chuàng)建了50個(gè)分別從0~49標(biāo)識(shí)）文件夾很大，上網(wǎng)搜了一翻，終得解決，記錄一下。

?

?

問題環(huán)境：

kafka版本：kafka_2.12-0.10.2.1

?

解決方法：

假如server.properties有以下配置項(xiàng)：

...
log.dirs=/data/kafka-logs
log.cleaner.enable=true log.cleanup.policy = delete　　　　// delete|compact log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000
...

以上配置對(duì)于特殊的topic，比如__consumer_offsets不一定有效，可以通過bin目錄自帶的kafka-configs.sh腳本查看下，操作如下：

?./kafka-configs.sh --zookeeper 172.19.228.188:2181 --entity-type topics --entity-name __consumer_offsets --describe?

顯示如下：

Configs for topic '__consumer_offsets' are segment.bytes=104857600,cleanup.policy=compact,compression.type=producer

看的出來，segment.bytes、cleanup.policy、compression.type這三個(gè)配置項(xiàng)是針對(duì)topics的，server.conf配置log.cleanup.policy， log.segment.bytes 沒有起效，如果想讓該配置跟隨server.conf配置，則執(zhí)行以下命令，刪除特殊配置?：

?./kafka-configs.sh --zookeeper 172.19.228.188:2181 --entity-type topics --entity-name __consumer_offsets --alter --delete-config cleanup.policy?

然后系統(tǒng)在后臺(tái)就清理對(duì)應(yīng)過大的文件了，也就釋放了磁盤空間。

?

轉(zhuǎn)載于:https://www.cnblogs.com/ding2016/p/9294544.html

總結(jié)

以上是生活随笔為你收集整理的kafka清理数据日志的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。