删除kafka topic
1、因為項目原因,kakfa通道中經常造成數據阻塞,導致kafka通道中數據量過大,因此我需要將kakfa通道中數據清除(個人項目原因,一直使用一個消費者,只要保證當前消費者不在消費之前很久的數據就可以。因數量過大,造成topic阻塞,消費者消費太慢,還有可能造成重復消費問題)。下面將介紹刪除topic中數據或者日志數據的方法。
A: 第一種方法就是
1):停掉kafka進程
2):刪除kafka的日志數據,刪除topic
3);將zookeeper中的offset偏移量修改
? ? ? 或者直接將topic刪除掉
4);重啟kafka進程或者重建kafka通道
這是比較保險也適用于大多數的情況
B: 如果我的需求只是讓當前消費者不在消費之前的阻塞數據,那么可以用下面的方法來實現
1): 停掉kafka進程,將kafka的server.properties中的log.retention.hours=1/60;? 將日志數據保留1分鐘
或者
在不用停掉kafka進程的情況下執行:
kafka-configs.sh –zookeeper localhost:2181 –entity-type topics –entity-name test –alter –add-config retention.ms=10000
直接執行當前命令,可以在不停掉kafka進程的情況下,將日志數據保留時間修改成1000毫秒(注意:這里的設置的是毫秒)
這樣就可以保證當前消費者不會再消費阻塞的數據了。
?
以上兩種方式,都要保證沒有向通道中進行生產的數據的生產者
---------------------
作者:nicodeme
來源:CSDN
原文:https://blog.csdn.net/nicodeme/article/details/81950455
版權聲明:本文為博主原創文章,轉載請附上博文鏈接!
轉載于:https://www.cnblogs.com/vana/p/10201298.html
總結
以上是生活随笔為你收集整理的删除kafka topic的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: FFT实现高精度乘法
- 下一篇: 洛谷2619/bzoj2654 Tree