afka是一款基于發(fā)布和訂閱的消息系統(tǒng)。一般被稱為分布式提交日志或分布式流平臺。

Kafka系統(tǒng)是按照一定的順序持久化保存的，可以按需讀取。

Kafka的數(shù)據(jù)單元被稱為消息。類似于數(shù)據(jù)庫中表的一行記錄，消息由字節(jié)組成，所以沒有特別的格式和含義。

消息有一個可選的元數(shù)據(jù)，就是鍵，鍵也是一個字節(jié)數(shù)組。當消息以一種可控的方式寫入分區(qū)時，會用到鍵，最簡單的方式就是為鍵生成一個散列值，然后使用散列值對主題的分區(qū)屬進行取模。這樣可以保證具有相同鍵的消息總是會寫到相同的分區(qū)。

批次時一組消息，這些消息屬于同一個主題和分區(qū)，將消息分批次傳輸可以減少網(wǎng)絡(luò)開銷。

消息模式有很多選項，比如json,xml,但Kafka的開發(fā)者喜歡使用Apache Avro。

Kafka的消息通過主題進行分類，主題就好比數(shù)據(jù)庫中的表。或者文件系統(tǒng)中的文件夾。

主題還可以分成若干個分區(qū)，消息以追加方式寫入分區(qū)，按照先入先出的順序被消費，因此無法在整個主題范圍內(nèi)保持順序，但可以保證在單個分區(qū)內(nèi)的順序。

Kafka通過分區(qū)實現(xiàn)數(shù)據(jù)冗余和伸縮性，分區(qū)可分布在不同的服務(wù)器上，以此來提供比單個服務(wù)器更強大的性能。

通常使用流來描述Kafka的數(shù)據(jù)，流是一組從生產(chǎn)者到消費者的數(shù)據(jù)。Kafka以實時的方式處理數(shù)據(jù)，這叫流失處理，通常與批量處理（Hadoop）做區(qū)別。

Kafka的客戶端就是Kafka的用戶，他們被分為兩種：生產(chǎn)者和消費者。除此之外還有其他高級客戶端API——用于數(shù)據(jù)集成的Kafka Connect API和用于流失處理的Kafka streams.這些高級客戶端API使用生產(chǎn)者和消費者作為內(nèi)部組件，提供了更高級的功能。

生產(chǎn)者創(chuàng)建消息，一般一個消息會被發(fā)布到一個特定的主題上，生產(chǎn)者默認會把消息均衡地分布到主題的所有分區(qū)，這通常是由消息鍵和分區(qū)器來實現(xiàn)。

消費者讀取消息，消費者訂閱一個或多個主題，并按照消息生成的順序消費它們。消費者通過檢查消息的偏移量來區(qū)分已經(jīng)讀過的消息。偏移量是另一種元數(shù)據(jù)，它是一個不斷遞增的整數(shù)值。在創(chuàng)建消息時，Kafka會把它添加到消息里，在給定分區(qū)里，每個消息的偏移量都是唯一的。

消費者把每個分區(qū)最后讀取的偏移量保存到zookeeper或Kafka上，如果消費者關(guān)閉或者重啟，它的讀取狀態(tài)不好丟失。

消費者是消費者群組的一部分，一般會有多個消費者共同讀取一個主題，群組保證每個分區(qū)只被一個消費者使用。

一個獨立的Kafka服務(wù)器稱為一個broker，broker接收來自生產(chǎn)者的消息，為消息設(shè)置偏移量，并提交消息到磁盤保存。broker為消費者提供服務(wù)，對讀取分區(qū)的請求作出響應(yīng)，返回提交到磁盤上的消息。

broker是集群的組成部分，每個集群都會有一個broker充當集群控制器角色（自動選舉），控制器負責管理工作。在集群中，一個分區(qū)從屬于一個broker，該broker被稱為分區(qū)的首領(lǐng)，一個分區(qū)可以復制到多個broker，這種復制機制為分區(qū)提供了消息冗余。

保留消息時Kafka的一個重要特性，默認的保留策略時這樣的：要么保留一段時間，要么保留一定的字節(jié)數(shù)。在任一時刻，達到其中一個標準，消息就會被刪除。

Kafka可以無縫支持多個生產(chǎn)者，也可以支持多個消費者。

Kafka有五個使用場景：

1.跟蹤用戶的活動。

2.傳遞消息。

3.度量指標和日志記錄。

4.提交日志。

5.流處理。
標簽: Kafka

總結(jié)

以上是生活随笔為你收集整理的Kafka随笔日记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。