Kafka消費storm，突然有兩個分區無法消費數據(或重復消費無法提交offset)

offset是我們自己進行管理，kafka日志也是正常沒有報錯，storm日志也是沒有報錯~ 就是卡住了

1.嘗試將partition為0,1的offset記錄刪除，重新跑一遍，結果還是到那個offset處卡住

2.再次嘗試手動修改offset跳過卡住的那一條數據(這種做法會丟失一條數據,在數據不允許丟失或無法重新恢復的情況下不可使用)

set /stormoffset/xxx/partition_0 {"topology":{"id":"topology-name-28-1547535229","name":"topology-name"},"offset":417958889,"partition":0,"broker":{"host":"xxx","port":9092},"topic":"test_data"}

?重啟storm程序，記住要kill掉再次啟動才會生效，Deactivate/Activate無法生效

總結

以上是生活随笔為你收集整理的Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费，持续阻塞的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。