文章目錄

• • 生產者問題
  • 消費者問題
  • 問題總結
  • 解決方案

生產者問題

Producer發送消息到隊列，分區Leader收到消息后返回ACK給Producer，表示接收成功，此時可以繼續發送下一筆消息。

Kafka提供了3種不同級別的ACK機制：

• 0：Leader收到消息后立刻返回給Producer，消息可能還沒刷盤，也還沒有同步給Follower。此時如果Leader掛掉，消息就丟失了。
• 1：Leader將消息寫入磁盤后，立刻返回ACK給Producer，消息可能還沒同步Follower。此時如果Leader掛掉，選舉新的Follower成為主分區，因為剛才沒同步成功，所以消息丟失。
• -1：Leader將消息寫入磁盤，并且同步給所有Follower，此時再返回ACK。這個方案也存在一個問題，如果在Leader準備返回ACK的時候掛掉，Producer沒收到ACK認定為發送失敗。此時又有2種情況
  （1）開啟重試：會導致隊列收到2條重復的消息，此時需要Consumer端保證消費冪等，后面會介紹
  （2）不開啟重試(不推薦

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Kafka消息丢失、重复消费的解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。