介紹

kafka是一個(gè)支持分布式的消息系統(tǒng)，基于發(fā)布/訂閱模式。
kafka由LinkedIn公司開發(fā)，2010年成為Apache頂級(jí)項(xiàng)目。
源碼是由java寫的。

基本概念

1、Broker

kafka集群中的每臺(tái)機(jī)器，都叫一個(gè)broker.

2、Topic（主題）

一個(gè)topic代表著一類消息，不同類型的消息，就用不同的topic區(qū)分。

3、Partition（分區(qū)）

一個(gè)Partition就是一個(gè)隊(duì)列。一個(gè)topic可以由多個(gè)Partition組成。
一個(gè)topic的多個(gè)partition可能會(huì)放在多個(gè)Broker上。

4、Producer（生產(chǎn)者）

向kafka發(fā)消息的客戶端

5、Consumer（消費(fèi)者）

從kafka拉消息的客戶端

6、Consumer Group（消費(fèi)者組）

這個(gè)相當(dāng)于給消費(fèi)者分了個(gè)組，在注冊(cè)消費(fèi)者的時(shí)候，要先指定是哪個(gè)消費(fèi)者組。
這個(gè)概念，主要是為了kafka實(shí)現(xiàn)廣播和單播的區(qū)分。
每多一個(gè)消費(fèi)者組，topic的消息就會(huì)多復(fù)制一份給這個(gè)消費(fèi)者組。
消費(fèi)者組只會(huì)把消息發(fā)給本組的一個(gè)消費(fèi)者。
這樣的話，如果實(shí)現(xiàn)單播，那就一個(gè)消費(fèi)者一個(gè)消費(fèi)者組；如果要廣播，那就多個(gè)消費(fèi)者用一個(gè)消費(fèi)者組。

7、Zookeeper

zk主要就是集群管理，包括Broker和Consumer。

圖解

發(fā)現(xiàn)有網(wǎng)友畫的一張很好的圖，把kafka的數(shù)據(jù)流畫的很清晰。

如上圖，簡(jiǎn)單解釋下：
有兩個(gè)producer，producer0發(fā)topic0的消息，producer1發(fā)topic0和topic1的消息。
有3個(gè)broker作為一個(gè)集群，由zk管理，上圖沒畫zk，自行腦補(bǔ)。
我們看到數(shù)據(jù)存儲(chǔ)的最小單位是topic的某個(gè)partition。
這個(gè)圖，為每個(gè)Partition做了兩個(gè)副本，我們稱為一主兩從。
主用紅色標(biāo)識(shí)，從用黑色標(biāo)識(shí)。
producer發(fā)消息都是發(fā)到主上，然后由主復(fù)制消息到從上。
消費(fèi)者拉消息，也是從主上拉。
主從關(guān)系由zk來管理，基本上就是zk選舉那一套。
consumer group0有一個(gè)消費(fèi)者consumer0。
consumer0消費(fèi)topic0的消息，所以我們看到consumer0從topic0的兩個(gè)partition上同時(shí)拉消息。
consumer group1有三個(gè)consumer，012。
這里先指出一個(gè)上圖的問題，一般一個(gè)consumer group是只消費(fèi)一個(gè)topic的，我理解的是作者為了畫出消費(fèi)者數(shù)量與partition數(shù)據(jù)的關(guān)系，才這么畫的，我們一個(gè)一個(gè)講。

首先看consumer group1消費(fèi)topic0的情況，topic0有兩個(gè)partition，但consumer group1有三個(gè)consumer，所以consumer0負(fù)責(zé)拉topic0partiton0隊(duì)列的消息，consumer1負(fù)責(zé)拉topic0partition1隊(duì)列的消息。

再看consumer group1消費(fèi)topic1的情況。由于topic1只有一個(gè)partition0，所以consumer group1也就只派出consumer0來拉這個(gè)topic1partition0的消息。

如果你認(rèn)認(rèn)真真把上面的看完，那么你應(yīng)該能理解，所謂的一個(gè)topic多少個(gè)partition對(duì)于多少個(gè)consumer了吧。還是以3個(gè)為例，理想狀況下，就是3個(gè)broker，對(duì)于一個(gè)tipic的3個(gè)partition的主分別部署在不同的broker上，主對(duì)于的兩個(gè)從分別不在其他兩個(gè)broker上。同時(shí)consumer group對(duì)應(yīng)有3個(gè)consumer，分別從3個(gè)partition主上拉消息。

總結(jié)

以上是生活随笔為你收集整理的消息队列（4）：Kafka的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。