kafka Windows安装
1:安裝JDK、
2:安裝Zookeeper
?下載地址:https://zookeeper.apache.org/releases.html
? ? 下載后,解壓放在目錄D:\bigdata(本文所用的目錄)下,關于zookeeper以及kafka的目錄,路徑中最好不要出現空格,比如D:\Program Files,盡量別用,運行腳本時會有問題。
①進入zookeeper的相關設置所在的文件目錄,例如本文的:D:\bigdata\zookeeper-3.4.10\conf
②將"zoo_sample.cfg"重命名為"zoo.cfg"
③打開zoo.cfg(至于使用什么編輯器,根據自己喜好選即可),找到并編輯:
dataDir=/tmp/zookeeper? to? D:/bigdata/zookeeper-3.4.10/data或?D:\\bigdata\\zookeeper-3.4.10\\data(路徑僅為示例,具體可根據需要配置)
這里注意,路徑要么是"/"分割,要么是轉義字符"\\",這樣會生成正確的路徑(層級,子目錄)。
④與配置jre類似,在系統環境變量中添加:
??? a.系統變量中添加ZOOKEEPER_HOME=D:\bigdata\zookeeper-3.4.10
??? b.編輯系統變量中的path變量,增加%ZOOKEEPER_HOME%\bin
⑤在zoo.cfg文件中修改默認的Zookeeper端口(默認端口2181)
這是本文最終的zoo.cfg文件的內容:
?
?
⑥打開cmd窗口,輸入zkserver,運行Zookeeper,運行結果如下:
Zookeeper已經安裝完成,已在2181端口運行。
?
3 安裝kafka
下載地址:http://kafka.apache.org/downloads
? ? 要下載Binary downloads這個類型,不要下載源文件,這種方便使用。下載后,解壓放在D:\bigdata目錄下。
?
①進入kafka配置文件所在目錄,D:\bigdata\kafka_2.11-0.9.0.1\config
?
②編輯文件"server.properties",找到并編輯:
?
?log.dirs=/tmp/kafka-logs? to? log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\\bigdata\\kafka_2.11-0.9.0.1\\kafka-logs
?
同樣注意:路徑要么是"/"分割,要么是轉義字符"\\",這樣會生成正確的路徑(層級,子目錄)。錯誤路徑情況可自行嘗試,文件夾名為這種形式:bigdatakafka_2.11-0.9.0.1kafka-logs
?
③在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所連接的zookeeper所在的服務器IP以及端口,可根據需要更改。本文在同一臺機器上使用,故不用修改。
?
④啟動kafka:
在命令行中輸入:.\bin\windows\kafka-server-start.bat .\config\server.properties ? 回車。
kafka會按照默認配置,在9092端口上運行,并連接zookeeper的默認端口2181。
?
3 增加kafka用戶
(1)
# 添加下面的配置? ip和端口改成自己需要
listeners=SASL_PLAINTEXT://xx.xx.xx.xx:8123
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
(2)
在config目錄添加kafka_server_jaas.conf 文件 此文件是服務端 設置用戶名? 和密碼
KafkaServer {
??? org.apache.kafka.common.security.plain.PlainLoginModule required
??? username="kafka"
??? password="kafkapswd"
??? user_kafka="kafkapswd"
??? user_mooc="moocpswd";
};
其中 Kafka 定義了關鍵字KafkaServer字段用于指定服務端登錄配置。該配置通過org.apache.
org.apache.kafka.common.security.plain.PlainLoginModule由指定采用PLAIN 機制, 定義了兩個用戶, 用戶通
過usemame 和password 指定該代理與集群其他代理初始化連接的用戶名和密碼, 通過“ user_ "
為前綴后接用戶名方式創建連接代理的用戶名和密碼,例如, user_mooc = "moocpswd” 是指
用戶名為mooc, 密碼為moocpswd
?
(3)
在config目錄添加kafka_client_jaas.conf
KafkaClient {
??????? org.apache.kafka.common.security.plain.PlainLoginModule required
??????? username="mooc"
??????? password="moocpswd";
};
?(4)
修改目錄/usr/local/kafka_2.12-1.1.1/bin 下的 kafka-server-start.sh文件 。 我的做法也是復制出來一份 ,然后進行修改
kafka-server-start-saal.sh? 添加以下文件
if [ "x$KAFKA_OPTS"? ]; then
??? export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/kafka_2.12-1.1.1/config/kafka_server_jaas.conf"
fi
(5)
?
修改目錄/usr/local/kafka_2.12-1.1.1/bin 下的? kafka-console-producer.sh 和 kafka-console-consumer.sh 文件
?
也是 都各自復制一份 在復制上面進行修改
if [ "x$KAFKA_OPTS"? ]; then
??? export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/kafka_2.12-1.1.1/config/kafka_client_jaas.conf"
fi
?
?
轉載于:https://www.cnblogs.com/mrray/p/10895863.html
總結
以上是生活随笔為你收集整理的kafka Windows安装的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 茶觉 | “治愈”的白牡丹
- 下一篇: 2019计蒜之道 B:个性化评测系统