1、Kafka簡(jiǎn)介
Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。
kafka對(duì)消息保存時(shí)根據(jù)Topic進(jìn)行歸類(lèi)，發(fā)送消息者成為Producer,消息接受者成為Consumer,此外kafka集群有多個(gè)kafka實(shí)例組成，每個(gè)實(shí)例(server)成為broker。
無(wú)論是kafka集群，還是producer和consumer都依賴于zookeeper來(lái)保證系統(tǒng)可用性集群保存一些meta信息。


2、Kafka安裝和啟動(dòng)


1)下載并解壓kafka_2.10-0.10.1.1.tgz
? #tar -xzvf kafka_2.10-0.10.1.1.tgz


2)下載并解壓zookeeper-3.4.6.tar.gz
? #tar -xzvf zookeeper-3.4.6.tar.gz


3)啟動(dòng)單實(shí)例Zookkeeper服務(wù)
? #cd zookeeper-3.4.6
? conf文件夾中新建名zoo.cfg文件，可復(fù)制zoo_sample.cfg文件進(jìn)行相應(yīng)修改。
? 啟動(dòng)服務(wù)：
? #bin/zkServer.sh &
??
4)啟動(dòng)Kafka服務(wù)
? ?#cd kafka_2.10
? ?配置config/server.properties相應(yīng)信息，如zookeeper.connect；
? ?啟動(dòng)服務(wù)：
? ?#bin/kafka-server-start.sh config/server.properties &


3、測(cè)試：
? ?1)創(chuàng)建topic
? ?#bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0307
? ?通過(guò)list命令查看創(chuàng)建的topic:
? ?#bin/kafka-topics.sh --list --zookeeper localhost:2181
? ?2)生產(chǎn)消息
? ? Kafka 使用一個(gè)簡(jiǎn)單的命令行producer，從文件中或者從標(biāo)準(zhǔn)輸入中讀取消息并發(fā)送到服務(wù)端。
? ? 默認(rèn)的每條命令將發(fā)送一條消息。運(yùn)行producer并在控制臺(tái)中輸一些消息，這些消息將被發(fā)送到服務(wù)端：
? ? #bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test0307
? ? ?I am testing kafka for inputing message into HDFS.
? ? ?不發(fā)送就ctrl+c退出。
? ?3)消費(fèi)消息
? ? ?Kafka命令行consumer可以讀取消息并輸出到標(biāo)準(zhǔn)輸出：
? ? ?#bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test0307 --from-beginning


4、后續(xù)待研究：?
1）這是單實(shí)例測(cè)試，可以在一臺(tái)機(jī)子上配置多個(gè)broker，也可以建立kafka集群。
2）kafka的producer可以來(lái)自flume的sink，其consumer可以輸出到hdfs中。
參考：http://www.cnblogs.com/cssdongl/p/6077311.html

總結(jié)

以上是生活随笔為你收集整理的分布式发布订阅消息系统Kafka单实例测试的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。