Kafka 不停机修改某一个topic数据保存时间
生活随笔
收集整理的這篇文章主要介紹了
Kafka 不停机修改某一个topic数据保存时间
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
- 查看topic信息
此時(shí)topic數(shù)據(jù)為kafka默認(rèn)的配置
- 修改已有的topic數(shù)據(jù)保存時(shí)間(某一個(gè))
可以看到Configs后面有個(gè)retention.ms=2678400000參數(shù),改參數(shù)是我們修改的參數(shù)
注:kafka-topics.sh修改配置已被棄用,后續(xù)版本會(huì)刪除,建議需要統(tǒng)一使用kafka-configs.sh來修改參數(shù)。
kafka-configs.sh使用
- 查看topic修改的配置信息
- 修改配置
配置完成后,所有超過時(shí)間的數(shù)據(jù)會(huì)先被標(biāo)記為deleted,稍后清空全部標(biāo)記為deleted的文件?
-rw-r--r-- 1 kafka kafka 1073620774 11月 16 08:53 00000000000601378207.log.deleted -rw-r--r-- 1 kafka kafka 156852 11月 16 08:53 00000000000601378207.timeindex.deleted -rw-r--r-- 1 kafka kafka 108432 11月 16 08:57 00000000000601456930.index.deleted -rw-r--r-- 1 kafka kafka 1073728104 11月 16 08:57 00000000000601456930.log.deleted -rw-r--r-- 1 kafka kafka 157356 11月 16 08:57 00000000000601456930.timeindex.deleted -rw-r--r-- 1 kafka kafka 111472 11月 16 09:00 00000000000601538370.index.deleted -rw-r--r-- 1 kafka kafka 1073383897 11月 16 09:00 00000000000601538370.log.deleted -rw-r--r-- 1 kafka kafka 161004 11月 16 09:00 00000000000601538370.timeindex.deleted -rw-r--r-- 1 kafka kafka 111544 11月 16 09:04 00000000000601614505.index.deleted -rw-r--r-- 1 kafka kafka 1073645607 11月 16 09:04 00000000000601614505.log.deleted -rw-r--r-- 1 kafka kafka 161304 11月 16 09:04 00000000000601614505.timeindex.deleted -rw-r--r-- 1 kafka kafka 113240 11月 16 09:08 00000000000601697084.index.deleted -rw-r--r-- 1 kafka kafka 1073650121 11月 16 09:08 00000000000601697084.log.deleted -rw-r--r-- 1 kafka kafka 164424 11月 16 09:08 00000000000601697084.timeindex.deleted -rw-r--r-- 1 kafka kafka 113816 11月 16 09:12 00000000000601786671.index -rw-r--r-- 1 kafka kafka 1073660828 11月 16 09:12 00000000000601786671.log -rw-r--r-- 1 kafka kafka 164388 11月 16 09:12 00000000000601786671.timeindex查看Kafka日志發(fā)現(xiàn)日志刪除
09:11:30,784 INFO kafka.log.TimeIndex: Deleting index /kafka/data/log_lnk_data_flow-0/00000000000601378207.timeindex.deleted 09:11:30,785 INFO kafka.log.TimeIndex: Deleting index /kafka/data/log_lnk_data_flow-0/00000000000601456930.timeindex.deleted 09:11:30,786 INFO kafka.log.TimeIndex: Deleting index /kafka/data/log_lnk_data_flow-0/00000000000601301258.timeindex.deleted?
?
更多命令可參考:https://blog.csdn.net/zhangshenghang/article/details/89158167
總結(jié)
以上是生活随笔為你收集整理的Kafka 不停机修改某一个topic数据保存时间的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。