如何保存消费端的消费位置
什么是offset
前面在講解partition的時候，提到過offset， 每個topic可以劃分多個分區（每個Topic至少有一個分區），同一topic下的不同分區包含的消息是不同的。每個消息在被添加到分區時，都會被分配一個offset（稱之為偏移量），它是消息在此分區中的唯一編號，kafka通過offset保證消息在分區內的順序，offset的順序不跨分區，即kafka只保證在同一個分區內的消息是有序的； 對于應用層的消費來說，每次消費一個消息并且提交以后，會保存當前消費到的最近的一個offset。那么offset保存在哪里？
offset在哪里維護？
在kafka中，提供了一個consumer_offsets_* 的一個topic，把offset信息寫入到這個topic中。consumer_offsets——按保存了每個consumer group某一時刻提交的offset信息。__consumer_offsets 默認有50個分區。
根據前面我們演示的案例，我們設置了一個KafkaConsumerDemo的groupid。首先我們需要找到這個consumer_group保存在哪個分區中
properties.put(ConsumerConfig.GROUP_ID_CONFIG,"KafkaConsumerDemo");
計算公式
Math.abs(“groupid”.hashCode())%groupMetadataTopicPartitionCount ; 由于默認情況下groupMetadataTopicPartitionCount有50個分區，計算得到的結果為:35, 意味著當前的consumer_group的位移信息保存在__consumer_offsets的第35個分區
執行如下命令，可以查看當前consumer_goup中的offset位移提交的信息
kafka-console-consumer.sh --topic __consumer_offsets --partition 15 -- bootstrap-server 192.168.13.102:9092,192.168.13.103:9092,192.168.13.104:9092 --formatter 'kafka.coordinator.group.GroupMetadataManager$OffsetsMessageFormatter'從輸出結果中，我們就可以看到test這個topic的offset的位移日志
?
?
?
?
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的如何保存消费端的消费位置的全部內容，希望文章能夠幫你解決所遇到的問題。
