原文鏈接：https://www.cnblogs.com/angelyan/p/10800739.html

windows上kafka的安裝

1.安裝jdk

下載地址:https://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

下載需要注冊oracle

添加環境變量JAVA_HOME=C:\Program Files\Java\jre1.8.0_211

2.安裝Zookeeper

下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

①進入zookeeper的相關設置所在的文件目錄，例如本文的：D:\zookeeper-3.4.14\conf

②將"zoo_sample.cfg"重命名為"zoo.cfg"

③打開zoo.cfg 找到并編輯：

dataDir=/tmp/zookeeper to D:/zookeeper-3.4.14/data或 D:/zookeeper-3.4.14/data(路徑僅為示例，具體可根據需要配置)

④與配置jre類似，在系統環境變量中添加：

a.系統變量中添加ZOOKEEPER_HOME=D:\zookeeper-3.4.14

b.編輯系統變量中的path變量，增加%ZOOKEEPER_HOME%\bin

⑤在zoo.cfg文件中修改默認的Zookeeper端口(默認端口2181)

⑥打開cmd窗口，輸入zkserver，運行Zookeeper

3.安裝kafka

下載地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.11-2.2.0.tgz

①進入kafka配置文件所在目錄，D:\kafka_2.11-2.2.0\config

②編輯文件"server.properties"，找到并編輯：

log.dirs=/tmp/kafka-logs to log.dirs=D:/kafka_2.11-2.2.0/kafka-logs

③在server.properties文件中，zookeeper.connect=localhost:2181代表kafka所連接的zookeeper所在的服務器IP以及端口，可根據需要更改

修改advertised.host.name=服務器ip

④進入kafka安裝目錄D:\kafka_2.11-2.2.0,打開cmd啟動

.\bin\windows\kafka-server-start.bat .\config\server.properties

補充知識點

topic

topic是存儲消息的邏輯概念，不同的topic下的數據是分開存儲的。不同的 topic 的消息是分開存儲的， 每個 topic 可以有多個生產者向它發送消息，也可以有多 個消費者去消費其中的消息。

partition

一個 topic 可以劃分多個分區partition（每個 Topic至少有一個分區partition），同一topic下的不同分區包含的消息是不同的。第i個分區分配在第?i mod n?個broker上。

每個消息在被添加到分區時，都會被分配一個offset（稱之為偏移量），它是消息在此分區中的唯一編號，kafka通過offset 保證消息在分區內的順序，offset的順序不跨分區，即kafka 只保證在同一個分區內的消息是有序的。

offset

每個消息在被添加到分區時，都會被分配一個 offset（稱之為偏移量），它是消息在此分區中的唯一編號，kafka 通過 offset 保證消息在分區內的順序。offset 的順序不跨分區，即 kafka 只保證在同一個分區內的消息是有序的； 對于應用層的消費來說，每次消費一個消息并且提交以后，會保存當前消費到的最近的一個 offset。

?

docker安裝

1、下載鏡像
這里使用了wurstmeister/kafka和wurstmeister/zookeeper這兩個版本的鏡像

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

2、啟動

啟動zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 啟動kafka docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.168:2181,192.168.0.169:2181,192.168.0.170:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.170:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka這里面主要設置了4個參數KAFKA_BROKER_ID=0 KAFKA_ZOOKEEPER_CONNECT=192.168.0.168:2181,192.168.0.169:2181,192.168.0.170:2181 KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.170:9092 KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092KAFKA_ZOOKEEPER_CONNECT 配置的是zookeeper的地址，可以單節點配置，也可以配置zookeeper集群多節點，用逗號隔開中間兩個參數的192.168.0.170改為宿主機器的IP地址，如果不這么設置，可能會導致在別的機器上訪問不到kafka。

?

3、進入kafka容器

docker exec -it ${CONTAINER ID} /bin/bash進入kafka默認目錄 /opt/kafka_2.11-0.10.1.0

?

go運行代碼

producer

package mainimport ("fmt""time""github.com/Shopify/sarama" )func main() {config := sarama.NewConfig()config.Producer.RequiredAcks = sarama.WaitForAllconfig.Producer.Partitioner = sarama.NewRandomPartitionerconfig.Producer.Return.Successes = trueclient, err := sarama.NewSyncProducer([]string{"192.168.3.118:9092"}, config)if err != nil {fmt.Println("producer close, err:", err)return}defer client.Close()for {msg := &sarama.ProducerMessage{}msg.Topic = "nginx_log"msg.Value = sarama.StringEncoder("this is a good test, my message is good")pid, offset, err := client.SendMessage(msg)if err != nil {fmt.Println("send message failed,", err)return}fmt.Printf("pid:%v offset:%v\n", pid, offset)time.Sleep(10 * time.Second)} }

?

?

?consumer

package mainimport ("fmt""strings""sync""github.com/Shopify/sarama""time" )var (wg sync.WaitGroup )func main() {consumer, err := sarama.NewConsumer(strings.Split("127.0.0.1:9092", ","), nil)if err != nil {fmt.Println("Failed to start consumer: %s", err)return}partitionList, err := consumer.Partitions("nginx_log")if err != nil {fmt.Println("Failed to get the list of partitions: ", err)return}fmt.Println(partitionList)for partition := range partitionList {pc, err := consumer.ConsumePartition("nginx_log", int32(partition), sarama.OffsetNewest)if err != nil {fmt.Printf("Failed to start consumer for partition %d: %s\n", partition, err)return}defer pc.AsyncClose()go func(pc sarama.PartitionConsumer) {wg.Add(1)for msg := range pc.Messages() {fmt.Printf("Partition:%d, Offset:%d, Key:%s, Value:%s", msg.Partition, msg.Offset, string(msg.Key), string(msg.Value))fmt.Println()}wg.Done()}(pc)}time.Sleep(10*time.Second)wg.Wait()consumer.Close() }

?

?

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的go使用kafka的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。