為什么80%的碼農都做不了架構師？>>> ??

配置參考

然后不廢話，直接貼最終的關鍵配置:

# 想實現消息隊列中保存2小時的消息，那么配置應該像這樣: log.roll.hours=1 log.retention.hours=2 log.segment.delete.delay.ms=0

Kafka日志存儲機制分析

首先先貼一下對我幫助很大的一篇文檔: https://www.zybuluo.com/jewes/note/64450 。這篇文章詳細闡述了kafka的日志存儲機制，建議深入閱讀。

然后我簡述一下。我們將對照kafka的broker配置簡單說明一下: http://kafka.apache.org/documentation.html#brokerconfigs

Kafka的持久化策略更像redis —— 數據都在內存中，定期flush到硬盤上持久化存儲，以保證重啟的時候數據不丟。flush策略由log.flush.*這些properties控制。

每個topic可以存儲于多個partition，每個partition在kafka的log目錄下表現為topicname-id這樣的文件夾，如mytopic-0。kafka隊列中的內容會按照日志的形式持久化到硬盤上。每個日志文件稱為“段”(segment)。

Kafka清理隊列中過期message的方式實際上就是刪除過期的segment，這種表現形式十分類似于日志滾動。因此，控制kafka隊列中消息的保存時間的方式實際上就是日志文件定期分段，然后定期清理掉過期的段文件。

與控制分段策略相關的幾個properties:

log.roll.{hours,ms} —— 日志滾動的周期時間(小時,毫秒，log.roll.ms優先級更高)，到達指定周期時強制生成一個新的segment。 log.segment.bytes —— 每個segment的最大容量上限(默認1GB)。到達指定容量時會強制生成一個新的segment。

與過期segment處理策略相關的幾個properties：

cleanup.policy={compact,delete} —— 過期segment處理算法，默認delete。 log.retention.{hours,minutes,ms} —— 日志保留時間(小時，分鐘，毫秒。優先級依次升高)，超出保留時間的日志執行cleanup.policy定義的操作 log.segment.delete.delay.ms —— 刪除日志文件前的保留一段時間。默認60000。 log.retention.check.interval.ms —— log checker的檢測是否需要刪除文件的周期。默認300000。

現在解釋一下開頭的配置段的含義——每小時滾動一個日志文件，日志刪除(cleanup.policy默認為delete)時間為2小時，

轉載于:https://my.oschina.net/abcfy2/blog/634973

總結

以上是生活随笔為你收集整理的Kafka配置消息保存时间的方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。