為什么要了解這些名詞的解釋呢？因為在學一個新的知識或者領(lǐng)域的時候，我們需要知道它所定義的概念和名詞意思，因為只有這樣我們才能理解和掌握這個新的知識點，才能更加系統(tǒng)的掌握這個技術(shù)。

一.名詞解釋

　1.broker

Kafka單個節(jié)點稱為broker，一個Kafka服務(wù)就是一個broker，多個broker可以組成一個Kafka集群.

　2.topic (主題)

topic相當于傳統(tǒng)消息系統(tǒng)MQ中的一個隊列queue，producer端發(fā)送的message必須指定是發(fā)送到哪個topic上.在一個大型的應(yīng)用系統(tǒng)中，
可以根據(jù)功能的不同，區(qū)分不同的topic(訂單的topic,登錄的topic,金額的topic等等)

　3.?partition(分區(qū))

一個topic下面可以有多個partition,kafka在接收到message后，會將這個message進行l(wèi)oad blance根據(jù)(hash(message)%[broker_num])均勻的將這個message分配在不同的partition上。 partition的配置個數(shù)一般與kafka的集群數(shù)保持一致即可(即broker的數(shù)量)

? ?4.partition replica (分區(qū)副本)

partition replica 是partition 的副本數(shù)據(jù)，是為了防止數(shù)據(jù)丟失的一種優(yōu)化，partition 不會和 replica 在同一臺broker上。
Replica 的數(shù)量與partition數(shù)量保持一致即可做到高可用

??5.?Segment（片斷）

partition 在物理結(jié)構(gòu)上可以分為多個segment，每個segment 上存放著message信息

? 6.producer

生產(chǎn)message,發(fā)送到topic上

? 7.consumer

訂閱指定的topic，消費topic上面的message信息

? 8.Consumer group

多個consumer 可以組成一個consumer group

二．名詞的作用解釋

? ?1.partition?

kafka的message是1個key-value對的形式,或者只有topic 和value.當沒有key的時候默認是null.大多數(shù)情況下都會分配1個key,這個key有2方面信息：1.元數(shù)據(jù)信息2.幫助partition分區(qū)，把這個key當成了路由，同一批數(shù)據(jù)寫進一個partition上一個message 就是一個producer record(生產(chǎn)記錄)對象，必須包含的有topic和value這2個參數(shù)，partition和key是可以不存在的所有的message是同一個key，將會被分配到同一個partition上當一個key為null的時候，它將會使用默認的partition，這個partition的作用是它會隨機的把這個key所對應(yīng)的producer record 放到其中的1個prtition中
盡量的使topic上的數(shù)據(jù)分布均勻，以防止數(shù)據(jù)傾斜如果顯示的指定了一個key,那么這個partition它會根據(jù)這個key的hash值，再根據(jù)partition的數(shù)量取模，決定message存放到topic上的哪個partition中下面我們做個測試：當存入的message有key 和無key 時數(shù)據(jù)發(fā)送到partition的位置如何？

? ? 當存入的message有key存在時

/*** * @des 測試kafka partition 分區(qū)信息 * @author zhao* @date 2019年6月27日上午12:17:55**/ public class PartitionExample {private final static Logger LOG = LoggerFactory.getLogger(PartitionExample.class);public static void main(String[] args) throws InterruptedException, ExecutionException {Properties properties = initProp();KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties); ProducerRecord<String, String> record = new ProducerRecord<String, String>("test_partition","appointKey","hello"); //指定key時Future<RecordMetadata> future = producer.send(record);RecordMetadata recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition()); record = new ProducerRecord<String, String>("test_partition","appointKey","world");future = producer.send(record); recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition());producer.flush();producer.close();System.out.println("====================================");}private static Properties initProp() {Properties prop = new Properties();prop.put("bootstrap.servers", "192.168.199.11:9092,192.168.199.12:9092,192.168.199.13:9092");prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");return prop;} }

/從日志中可以看出是隨機發(fā)送到partition上的

22:21:06.231 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 1

22:21:06.258 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 0

? 當存入的message無key存在時

/*** * @des 測試kafka partition 分區(qū)信息 * @author zhao* @date 2019年6月27日上午12:17:55**/ public class PartitionExample {private final static Logger LOG = LoggerFactory.getLogger(PartitionExample.class);public static void main(String[] args) throws InterruptedException, ExecutionException {Properties properties = initProp();KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties); ProducerRecord<String, String> record = new ProducerRecord<String, String>("test_partition", "hello"); Future<RecordMetadata> future = producer.send(record);RecordMetadata recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition());record = new ProducerRecord<String, String>("test_partition","world"); future = producer.send(record); recordMetadata = future.get();LOG.info(">>>>>>>>>>>>>>>>>> {}",recordMetadata.partition());producer.flush();producer.close();System.out.println("====================================");}private static Properties initProp() {Properties prop = new Properties();prop.put("bootstrap.servers", "192.168.199.11:9092,192.168.199.12:9092,192.168.199.13:9092");prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");return prop;} }

//從日志中可以看出發(fā)送到了同一個partition中

22:29:29.963 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 2

22:29:29.969 [main] INFO com.zpb.kafka.PartitionExample - >>>>>>>>>>>>>>>>>> 2

通過以上測試得出：
　　當一個key或者一批key映射同一partition時，所有的partition都要計算映射關(guān)系，不一定指的是可用的partition,因為在多個partition中，當某個partition掛掉時，也要參加到計算中，這就意味著，當你寫數(shù)據(jù)時，如果是發(fā)送到了這個掛掉的partition上時，會發(fā)送失敗 在一個conusmer group里面只有一個consumer client 讀其中的一個partition，不可能存在多個group里面多個consumer讀同一個partition

?

轉(zhuǎn)載于:https://www.cnblogs.com/MrRightZhao/p/11094707.html

總結(jié)

以上是生活随笔為你收集整理的kafka 名词解释及原理解析过程(三)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。