我們暫且不考慮寫磁盤的具體過程，先大致看看下面的圖，這代表了 Kafka 的核心架構原理。

Kafka 分布式存儲架構

那么現在問題來了，如果每天產生幾十 TB 的數據，難道都寫一臺機器的磁盤上嗎?這明顯是不靠譜的啊!所以說，這里就得考慮數據的分布式存儲了，我們結合 Kafka 的具體情況來說說。在 Kafka 里面，有一個核心的概念叫做“Topic”，這個 Topic 你就姑且認為是一個數據集合吧。舉個例子，如果你現在有一份網站的用戶行為數據要寫入 Kafka，你可以搞一個 Topic 叫做“user_access_log_topic”，這里寫入的都是用戶行為數據。然后如果你要把電商網站的訂單數據的增刪改變更記錄寫 Kafka，那可以搞一個 Topic 叫做“order_tb_topic”，這里寫入的都是訂單表的變更記錄。然后假如說咱們舉個例子，就說這個用戶行為 Topic 吧，里面如果每天寫入幾十 TB 的數據，你覺得都放一臺機器上靠譜嗎?明顯不太靠譜，所以 Kafka 有一個概念叫做 Partition，就是把一個 Topic 數據集合拆分為多個數據分區，你可以認為是多個數據分片，每個 Partition 可以在不同的機器上，儲存部分數據。這樣，不就可以把一個超大的數據集合分布式存儲在多臺機器上了嗎?大家看下圖，一起來體會一下。

Kafka 高可用架構

但是這個時候，我們又會遇到一個問題，就是萬一某臺機器宕機了，這臺機器上的那個 Partition 管理的數據不就丟失了嗎?

所以說，我們還得做多副本冗余，每個 Partition 都可以搞一個副本放在別的機器上，這樣某臺機器宕機，只不過是 Partition 其中一個副本丟失。如果某個 Partition 有多副本的話，Kafka 會選舉其中一個 Parititon 副本作為 Leader，然后其他的 Partition 副本是 Follower。只有 Leader Partition 是對外提供讀寫操作的，Follower Partition 就是從 Leader Partition 同步數據。一旦 Leader Partition 宕機了，就會選舉其他的 Follower Partition 作為新的 Leader Partition 對外提供讀寫服務，這不就實現了高可用架構了?

大家看下面的圖，看看這個過程：

Kafka 寫入數據丟失問題

現在我們來看看，什么情況下 Kafka 中寫入數據會丟失呢?其實也很簡單，大家都知道寫入數據都是往某個 Partition 的 Leader 寫入的，然后那個 Partition 的 Follower 會從 Leader 同步數據。但是萬一 1 條數據剛寫入 Leader Partition，還沒來得及同步給 Follower，此時 Leader Partiton 所在機器突然就宕機了呢?

大家看下圖：

如上圖，這個時候有一條數據是沒同步到 Partition0 的 Follower 上去的，然后 Partition0 的 Leader 所在機器宕機了。此時就會選舉 Partition0 的 Follower 作為新的 Leader 對外提供服務，然后用戶是不是就讀不到剛才寫入的那條數據了?因為 Partition0 的 Follower 上是沒有同步到最新的一條數據的。這個時候就會造成數據丟失的問題。

Kafka 的 ISR 機制是什么?

現在我們先留著這個問題不說具體怎么解決，先回過頭來看一個 Kafka 的核心機制，就是 ISR 機制。這個機制簡單來說，就是會自動給每個 Partition 維護一個 ISR 列表，這個列表里一定會有 Leader，然后還會包含跟 Leader 保持同步的 Follower。也就是說，只要 Leader 的某個 Follower 一直跟他保持數據同步，那么就會存在于 ISR 列表里。但是如果 Follower 因為自身發生一些問題，導致不能及時的從 Leader 同步數據過去，那么這個 Follower 就會被認為是“out-of-sync”，被從 ISR 列表里踢出去。所以大家先得明白這個 ISR 是什么，說白了，就是 Kafka 自動維護和監控哪些 Follower 及時的跟上了 Leader 的數據同步。

Kafka 寫入的數據如何保證不丟失?

所以如果要讓寫入 Kafka 的數據不丟失，你需要保證如下幾點：

每個 Partition 都至少得有 1 個 Follower 在 ISR 列表里，跟上了 Leader 的數據同步。

每次寫入數據的時候，都要求至少寫入 Partition Leader 成功，同時還有至少一個 ISR 里的 Follower 也寫入成功，才算這個寫入是成功了。

如果不滿足上述兩個條件，那就一直寫入失敗，讓生產系統不停的嘗試重試，直到滿足上述兩個條件，然后才能認為寫入成功。

按照上述思路去配置相應的參數，才能保證寫入 Kafka 的數據不會丟失。

好!現在咱們來分析一下上面幾點要求。

第一條，必須要求至少一個 Follower 在 ISR 列表里。

那必須的啊，要是 Leader 沒有 Follower 了，或者是 Follower 都沒法及時同步 Leader 數據，那么這個事兒肯定就沒法弄下去了。

第二條，每次寫入數據的時候，要求 Leader 寫入成功以外，至少一個 ISR 里的 Follower 也寫成功。

大家看下面的圖，這個要求就是保證說，每次寫數據，必須是 Leader 和 Follower 都寫成功了，才能算是寫成功，保證一條數據必須有兩個以上的副本。這個時候萬一 Leader 宕機，就可以切換到那個 Follower 上去，那么 Follower 上是有剛寫入的數據的，此時數據就不會丟失了。

如上圖所示，假如現在 Leader 沒有 Follower 了，或者是剛寫入 Leader，Leader 立馬就宕機，還沒來得及同步給 Follower。在這種情況下，寫入就會失敗，然后你就讓生產者不停的重試，直到 Kafka 恢復正常滿足上述條件，才能繼續寫入。這樣就可以讓寫入 Kafka 的數據不丟失。

總結

最后總結一下，其實 Kafka 的數據丟失問題，涉及到方方面面。譬如生產端的緩存問題，包括消費端的問題，同時 Kafka 自己內部的底層算法和機制也可能導致數據丟失。但是平時寫入數據遇到比較大的一個問題，就是 Leader 切換時可能導致數據丟失。所以本文僅僅是針對這個問題說了一下生產環境解決這個問題的方案。

總結

以上是生活随笔為你收集整理的kafka如何保证不重复消费又不丢失数据_Kafka写入的数据如何保证不丢失？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。