在Kafka的數(shù)據(jù)路徑下有很多.index和.timeindex后綴文件：

• .index文件，即Kafka中的位移索引文件
• .timeindex文件，即時(shí)間戳索引文件。

1 OffsetIndex - 位移索引

1.1 定義

用于根據(jù)位移值快速查找消息所在文件位置。

每當(dāng)Consumer需要從topic分區(qū)的某位置開始讀消息時(shí)，Kafka就會(huì)用OffsetIndex直接定位物理文件位置，避免從頭讀取消息的I/O性能開銷。

不同索引類型保存不同的 K.V 對(duì)。OffsetIndex的K即消息的相對(duì)位移，V即保存該消息的日志段文件中該消息第一個(gè)字節(jié)的物理文件位置。

相對(duì)位移

AbstractIndex類中的抽象方法entrySize定義了單個(gè)K.V對(duì)所用的字節(jié)數(shù)。 OffsetIndex的entrySize就是8，如OffsetIndex.scala中定義的那樣：

相對(duì)位移是個(gè)Integer，4字節(jié)，物理文件位置也是一個(gè)Integer，4字節(jié)，因此共8字節(jié)。

Kafka的消息位移值是一個(gè)長(zhǎng)整型（Long），應(yīng)占8字節(jié)。在保存OffsetIndex的K.V對(duì)時(shí)，Kafka做了一些優(yōu)化。每個(gè)OffsetIn

總結(jié)

以上是生活随笔為你收集整理的kafka offset保存在哪里_《Kafka成神之路》- 索引类型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。