轉載：https://baijiahao.baidu.com/s?id=1583469327946027281&wfr=spider&for=pc

消息發送方式

想清楚Kafka發送的消息是否丟失，需要先了解Kafka消息的發送方式。

Kafka消息發送分同步(sync)、異步(async)兩種方式

默認是使用同步方式，可通過producer.type屬性進行配置；

Kafka保證消息被安全生產，有三個選項分別是0,1,-1

通過request.required.acks屬性進行配置：

0代表：不進行消息接收是否成功的確認(默認值)；

1代表：當Leader副本接收成功后，返回接收成功確認信息；

-1代表：當Leader和Follower副本都接收成功后，返回接收成功確認信息；

六種發送場景

兩個維度相交，生成六種情況，如下圖：

消息丟失的場景

網絡異常

acks設置為0時，不和Kafka集群進行消息接受確認，當網絡發生異常等情況時，存在消息丟失的可能；

客戶端異常

異步發送時，消息并沒有直接發送至Kafka集群，而是在Client端按一定規則緩存并批量發送。在這期間，如果客戶端發生死機等情況，都會導致消息的丟失；

緩沖區滿了

異步發送時，Client端緩存的消息超出了緩沖池的大小，也存在消息丟失的可能；

Leader副本異常

acks設置為1時，Leader副本接收成功，Kafka集群就返回成功確認信息，而Follower副本可能還在同步。這時Leader副本突然出現異常，新Leader副本(原Follower副本)未能和其保持一致，就會出現消息丟失的情況；

以上就是消息丟失的幾種情況，在日常應用中，我們需要結合自身的應用場景來選擇不同的配置。

想要更高的吞吐量就設置：異步、ack=0；想要不丟失消息數據就選：同步、ack=-1策略

附：Kafka備份策略，不理解的可以看我的另一篇文章《Kafka消息的備份策略》

一個全棧程序猿的經驗分享，大家覺得有收獲的請在評論中給個鼓勵，不足之處也請多多指出；最后預祝大家開心永在，感謝您的關注。

轉載于:https://www.cnblogs.com/myf008/p/8546411.html

總結

以上是生活随笔為你收集整理的kafka消息会不会丢失的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。