1、Kafka簡介
Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。
kafka對消息保存時根據(jù)Topic進(jìn)行歸類，發(fā)送消息者成為Producer,消息接受者成為Consumer,此外kafka集群有多個kafka實例組成，每個實例(server)成為broker。
無論是kafka集群，還是producer和consumer都依賴于zookeeper來保證系統(tǒng)可用性集群保存一些meta信息。


2、Kafka安裝和啟動


1)下載并解壓kafka_2.10-0.10.1.1.tgz
? #tar -xzvf kafka_2.10-0.10.1.1.tgz


2)下載并解壓zookeeper-3.4.6.tar.gz
? #tar -xzvf zookeeper-3.4.6.tar.gz


3)啟動單實例Zookkeeper服務(wù)
? #cd zookeeper-3.4.6
? conf文件夾中新建名zoo.cfg文件，可復(fù)制zoo_sample.cfg文件進(jìn)行相應(yīng)修改。
? 啟動服務(wù)：
? #bin/zkServer.sh &
??
4)啟動Kafka服務(wù)
? ?#cd kafka_2.10
? ?配置config/server.properties相應(yīng)信息，如zookeeper.connect；
? ?啟動服務(wù)：
? ?#bin/kafka-server-start.sh config/server.properties &


3、測試：
? ?1)創(chuàng)建topic
? ?#bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0307
? ?通過list命令查看創(chuàng)建的topic:
? ?#bin/kafka-topics.sh --list --zookeeper localhost:2181
? ?2)生產(chǎn)消息
? ? Kafka 使用一個簡單的命令行producer，從文件中或者從標(biāo)準(zhǔn)輸入中讀取消息并發(fā)送到服務(wù)端。
? ? 默認(rèn)的每條命令將發(fā)送一條消息。運行producer并在控制臺中輸一些消息，這些消息將被發(fā)送到服務(wù)端：
? ? #bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test0307
? ? ?I am testing kafka for inputing message into HDFS.
? ? ?不發(fā)送就ctrl+c退出。
? ?3)消費消息
? ? ?Kafka命令行consumer可以讀取消息并輸出到標(biāo)準(zhǔn)輸出：
? ? ?#bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test0307 --from-beginning


4、后續(xù)待研究：?
1）這是單實例測試，可以在一臺機(jī)子上配置多個broker，也可以建立kafka集群。
2）kafka的producer可以來自flume的sink，其consumer可以輸出到hdfs中。
參考：http://www.cnblogs.com/cssdongl/p/6077311.html

總結(jié)

以上是生活随笔為你收集整理的分布式发布订阅消息系统Kafka单实例测试的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。