這些場景的共同點就是數據由上層框架產生，需要由下層框架計算，其中間層就需要有一個消息隊列傳輸系統

Apache flume系統，用于日志收集

Apache storm系統，用于實時數據處理

Spark系統，用于內存數據處理

elasticsearch系統，用于全文檢索

broker中每個partition都會有備份，可自行設置，前端程序和讀取數據的程序都可以是自己寫的程序或者是各類框架，例如hadoop，flume

?搭建集群：

?

kafka的包需要事先下載好，zookeeper環境搭建之前已經做過介紹：

新建一個目錄專門給kafka使用，這樣方便管理，先解壓每個服務器的kafka，然后在kafka目錄下新建一個Log文件夾，用于存放kafka的消息

?

進入kafka的配置目錄，發現還有zookeeper配置文件，kafka集群可以通過zookeeper啟動，但是一般通過自己獨立的啟動方式啟動

首先關注server.properties配置文件

當前服務器集群ip分別為10.206.216.13，10.206.212.14，10.46.189.18

id為每個服務器的唯一參數，默認端口9092，為了防止會發生沖突，可以將端口設置比較大一點

hostname為服務器ip地址，一般該參數是關閉的，在0.8.1中有bug，默認參數是localhost，kafka在解析dns的時候會解析成ip，會有失敗率，因此打開，之后的版本已經修復該bug。若修改了hosts名稱也可以直接寫名稱：

?

之后配置如下三項：分別為消息put字節數組大小，消息備份數和消息pull字節數組大小，圖中兩個字節數組大小都為5M

之后配置zookeeper集群地址，zookeeper集群默認端口為2181，為了防止端口沖突，可以改為12181，該操作可有可無：

配置log路徑，若有多個可用逗號分隔，如果有多個的話，那num.io.threads參數的值必須大于配置路徑的個數：

在每臺服務器都配置完畢后，分別啟動kafka集群：

之后驗證有沒有錯誤：

先在集群上建立topic，即消息發送方，然后設置一臺服務器為消息發送方producer，設置另一臺服務器為consumer訂閱該服務器：

在producer中發送hello消息，然后在consumer中可立即收到：

之后還有list指令和descrip指令，分別用于列出所有的topic和某個topic的描述，之后還有許多指令，需要查看官方文檔：

進入zookeeper命令行之后，發現有如下目錄被創建：

?

轉載于:https://www.cnblogs.com/liuxiaopang/p/8058203.html

總結

以上是生活随笔為你收集整理的二十一、Hadoop学记笔记————kafka的初识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。