為什么要了解這些名詞的解釋呢？因為在學一個新的知識或者領域的時候，我們需要知道它所定義的概念和名詞意思，因為只有這樣我們才能理解和掌握這個新的知識點，才能更加系統的掌握這個技術。

一.名詞解釋

　1.broker

Kafka單個節點稱為broker，一個Kafka服務就是一個broker，多個broker可以組成一個Kafka集群.

　2.topic (主題)

topic相當于傳統消息系統MQ中的一個隊列queue，producer端發送的message必須指定是發送到哪個topic上.在一個大型的應用系統中，
可以根據功能的不同，區分不同的topic(訂單的topic,登錄的topic,金額的topic等等)

　3.?partition(分區)

一個topic下面可以有多個partition,kafka在接收到message后，會將這個message進行load blance根據(hash(message)%[broker_num])均勻的將這個message分配在不同的partition上。 partition的配置個數一般與kafka的集群數保持一致即可(即broker的數量)

? ?4.partition replica (分區副本)

partition replica 是partition 的副本數據，是為了防止數據丟失的一種優化，partition 不會和 replica 在同一臺broker上。
Replica 的數量與partition數量保持一致即可做到高可用

??5.?Segment（片斷）

partition 在物理結構上可以分為多個segment，每個segment 上存放著message信息

? 6.producer

生產message,發送到topic上

? 7.consumer

訂閱指定的topic，消費topic上面的message信息

? 8.Consumer group

多個consumer 可以組成一個consumer group

二．名詞的作用解釋

? ?1.partition?

kafka的message是1個key-value對的形式,或者只有topic 和value.當沒有key的時候默認是null.大多數情況下都會分配1個key,這個key有2方面信息：1.元數據信息2.幫助partition分區，把這個key當成了路由，同一批數據寫進一個partition上一個message 就是一個producer record(生產記錄)對象，必須包含的有topic和value這2個參數，partition和key是可以不存在的所有的message是同一個key，將會被分配到同一個partition上當一個key為null的時候，它將會使用默認的partition，這個partition的作用是它會隨機的把這個key所對應的producer record 放到其中的1個prtition中
盡量的使topic上的數據分布均勻，以防止數據傾斜如果顯示的指定了一個key,那么這個partition它會根據這個key的hash值，再根據partition的數量取模，決定message存放到topic上的哪個partition中下面我們做個測試：當存入的message有key 和無key 時數據發送到partition的位置如何？

? ? 當存入的message有key存在時

/*** * @des 測試kafka partition 分區信息 * @author zhao* @date 2019年6月27日上午12:17:55**/ public class PartitionExample {private final static Logger LOG = LoggerFactory.getLogger(PartitionExample.class);public static void main(String[] args) throws InterruptedException, ExecutionException {Properties properties = initProp();KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties); ProducerRecord<String, String> record = new ProducerRecord<String, String>("test_partition","appointKey","hello"); //指定key時Future<RecordMetadata> future = producer.send(record);RecordMetadata recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition()); record = new ProducerRecord<String, String>("test_partition","appointKey","world");future = producer.send(record); recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition());producer.flush();producer.close();System.out.println("====================================");}private static Properties initProp() {Properties prop = new Properties();prop.put("bootstrap.servers", "192.168.199.11:9092,192.168.199.12:9092,192.168.199.13:9092");prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");return prop;} }

/從日志中可以看出是隨機發送到partition上的

22:21:06.231 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 1

22:21:06.258 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 0

? 當存入的message無key存在時

/*** * @des 測試kafka partition 分區信息 * @author zhao* @date 2019年6月27日上午12:17:55**/ public class PartitionExample {private final static Logger LOG = LoggerFactory.getLogger(PartitionExample.class);public static void main(String[] args) throws InterruptedException, ExecutionException {Properties properties = initProp();KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties); ProducerRecord<String, String> record = new ProducerRecord<String, String>("test_partition", "hello"); Future<RecordMetadata> future = producer.send(record);RecordMetadata recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition());record = new ProducerRecord<String, String>("test_partition","world"); future = producer.send(record); recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition());producer.flush();producer.close();System.out.println("====================================");}private static Properties initProp() {Properties prop = new Properties();prop.put("bootstrap.servers", "192.168.199.11:9092,192.168.199.12:9092,192.168.199.13:9092");prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");return prop;} }

//從日志中可以看出發送到了同一個partition中

22:29:29.963 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 2

22:29:29.969 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 2

通過以上測試得出：
　　當一個key或者一批key映射同一partition時，所有的partition都要計算映射關系，不一定指的是可用的partition,因為在多個partition中，當某個partition掛掉時，也要參加到計算中，這就意味著，當你寫數據時，如果是發送到了這個掛掉的partition上時，會發送失敗 在一個conusmer group里面只有一個consumer client 讀其中的一個partition，不可能存在多個group里面多個consumer讀同一個partition

?

轉載于:https://www.cnblogs.com/MrRightZhao/p/11094707.html

總結

以上是生活随笔為你收集整理的kafka 名词解释及原理解析过程(三)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。