kafka是LinkedIn開發(fā)并開源的一個分布式MQ系統(tǒng)，現(xiàn)在是Apache的一個孵化項目。在它的主頁描述kafka為一個高吞吐量的分布式（能將消息分散到不同的節(jié)點(diǎn)上）MQ。在這片博文中，作者簡單提到了開發(fā)kafka而不選擇已有MQ系統(tǒng)的原因。兩個原因：性能和擴(kuò)展性。Kafka僅僅由7000行Scala編寫，據(jù)了解，Kafka每秒可以生產(chǎn)約25萬消息（50 MB），每秒處理55萬消息（110 MB）。

Kafka版本：0.8.0

約定：安裝3臺虛擬機(jī)

官網(wǎng)：http://kafka.apache.org/
官方文檔：http://kafka.apache.org/documentation.html#quickstart

下載解壓

# wget http://mirrors.hust.edu.cn/apache/kafka/0.8.0/kafka-0.8.0-src.tgz
# tar xzf kafka-0.8.0-src.tgz
# cd kafka-0.8.0-src

Kafka是用Scala寫的，SBT是Simple Build Tool的簡稱，如果讀者使用過Maven，那么可以簡單將SBT看做是Scala世界的Maven，雖然二者各有優(yōu)劣，但完成的工作基本是類似的。
## Building it ##
# ./sbt update
# ./sbt package
# ./sbt assembly-package-dependency

以上每一步完成就會提醒[Success]

例如：[success] Total time: 21 s, completed 2014-2-11 10:29:55

集群環(huán)境需要修改配置文件

# vim config/server.properties

brokerid：這個每個server（broker）必須唯一，寫數(shù)字

hostname：這個也是唯一的，寫服務(wù)器IP即可

############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broker.
broker.id=3############################# Socket Server Settings ############################## The port the socket server listens on
port=9092# Hostname the broker will bind to and advertise to producers and consumers.
# If not set, the server will bind to all interfaces and advertise the value returned from
# from java.net.InetAddress.getCanonicalHostName().
#host.name=localhost
host.name=192.168.2.111

還有就是zookeeper.connect也要配置

zookeeper.connect=192.168.19.218:2181,192.168.19.217:2181,192.168.19.214:2181

關(guān)于zookeeper的安裝可以參考此文：ZooKeeper集群環(huán)境安裝與配置

其他默認(rèn)配置即可。

啟動Kafka服務(wù)

# /usr/kafka-0.8.0-src/bin/kafka-server-start.sh /usr/kafka-0.8.0-src/config/server.properties

創(chuàng)建Topic
# /usr/kafka-0.8.0-src/bin/kafka-create-topic.sh --zookeeper localhost:2181 --partition 1 --topic test
查看Topic
# /usr/kafka-0.8.0-src/bin/kafka-list-topic.sh --zookeeper localhost:2181
輸出：

topic: test???? partition: 0??? leader: 1?????? replicas: 1???? isr: 1

說明：
partiton： partion id，由于此處只有一個partition，因此partition id 為0
leader：當(dāng)前負(fù)責(zé)讀寫的lead broker id
relicas：當(dāng)前partition的所有replication broker? list
isr：relicas的子集，只包含出于活動狀態(tài)的broker

producer發(fā)送消息
# /usr/kafka-0.8.0-src/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

consumer接收消息
# /usr/kafka-0.8.0-src/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

注意，如果上述命令不能發(fā)送接收消息說明沒有配置host，可以直接用ip

producer發(fā)送消息
# /usr/kafka-0.8.0-src/bin/kafka-console-producer.sh --broker-list 192.168.19.218:9092 --topic test

consumer接收消息
# /usr/kafka-0.8.0-src/bin/kafka-console-consumer.sh --zookeeper 192.168.19.218:2181 --topic test --from-beginning

如果要最新的數(shù)據(jù)，可以不帶--from-beginning參數(shù)即可。

# /usr/kafka-0.8.0-src/bin/kafka-console-consumer.sh --zookeeper 192.168.19.218:2181 --topic test

在kafka的核心思路中，不需要在內(nèi)存里緩存數(shù)據(jù)，因為操作系統(tǒng)的文件緩存已經(jīng)足夠完善和強(qiáng)大，只要不做隨機(jī)寫，順序讀寫的性能是非常高效的。kafka的數(shù)據(jù)只會順序append，數(shù)據(jù)的刪除策略是累積到一定程度或者超過一定時間再刪除。Kafka另一個獨(dú)特的地方是將消費(fèi)者信息保存在客戶端而不是MQ服務(wù)器，這樣服務(wù)器就不用記錄消息的投遞過程，每個客戶端都自己知道自己下一次應(yīng)該從什么地方什么位置讀取消息，消息的投遞過程也是采用客戶端主動pull的模型，這樣大大減輕了服務(wù)器的負(fù)擔(dān)。Kafka還強(qiáng)調(diào)減少數(shù)據(jù)的序列化和拷貝開銷，它會將一些消息組織成Message Set做批量存儲和發(fā)送，并且客戶端在pull數(shù)據(jù)的時候，盡量以zero-copy的方式傳輸，利用sendfile(對應(yīng)java里的FileChannel.transferTo/transferFrom)這樣的高級IO函數(shù)來減少拷貝開銷。可見，kafka是一個精心設(shè)計，特定于某些應(yīng)用的MQ系統(tǒng)，這種偏向特定領(lǐng)域的MQ系統(tǒng)我估計會越來越多，垂直化的產(chǎn)品策略值的考慮。

只要磁盤沒有限制并且不出現(xiàn)損失，kafka可以存儲相當(dāng)長時間的消息（一周）。

原文出自：本人另一個博客http://blog.csdn.net/unix21/

 

總結(jié)

以上是生活随笔為你收集整理的分布式消息队列Kafka集群安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。