文章目錄

• 一、kafka基礎操作
• • 1. kafka下載
  • 2. 解壓
  • 3. 重命名
  • 4. 在kafka目錄下創(chuàng)建 data 數(shù)據(jù)文件夾
  • 5. 修改配置文件
  • 6. 配置kafka環(huán)境變量
  • 7. 刷新環(huán)境變量，使之生效
• 二、kafka集群操作
• • 2.1. 分發(fā)配置好的基礎安裝包
  • 2.2. 登錄ly-02服務器，修改配置文件
  • 2.3. 登錄ly-03服務器，修改配置文件
  • 2.3. 啟動zk集群
• 三、kafka 基礎命令操作
• • 3.1. kafka常用命令總覽
  • 3.2. 單機前臺 啟動kafka和關(guān)閉kafka
  • 3.3. 單機后臺(也叫守護式) 啟動kafka和關(guān)閉kafka
• 四、kafka集群命令腳本操作
• • 4.1. kafka集群 啟動腳本
  • 4.2. kafka集群 關(guān)閉腳本
  • 4.3. 集群說明

一、kafka基礎操作

1. kafka下載

wget http://mirror.bit.edu.cn/apache/kafkahttp://mirror.bit.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz

2. 解壓

tar -zxvf kafka_2.13-2.4.0.tgz -C /app

3. 重命名

mv kafka_2.13-2.4.0 kafka

4. 在kafka目錄下創(chuàng)建 data 數(shù)據(jù)文件夾

cd /app/kafka mkdir data

5. 修改配置文件

/app/kafka/config vim server.properties #第一處 60行 log.dirs=/app/kafka/data

#第一處 123行

zookeeper.connect=ly-01:2181,ly-02:2181,ly-03:2181

6. 配置kafka環(huán)境變量

(目的使用kafka命令不用進到kafka目錄執(zhí)行)

sudo vi /etc/profile #KAFKA_HOME export KAFKA_HOME=/app/kafka export PATH=$PATH:$KAFKA_HOME/bin

7. 刷新環(huán)境變量，使之生效

source /etc/profile

二、kafka集群操作

2.1. 分發(fā)配置好的基礎安裝包

將配置好的kafka同步到ly-02，ly-03服務器的2個節(jié)點

scp -r kafka/ root@ly-02:/app scp -r kafka/ root@ly-03:/app

下面有2件事情要做，

修改ly-02和ly-03 上kafka的配置文件中的brokerid，全局唯一補鞥重復，由于剛才是復制的同步的因此需要同步后進行修改

啟動zk集群

啟動kafka
思考？kafka集群啟動有3個節(jié)點，一個一個啟動太麻煩，因此需要制作kafka啟動腳本

2.2. 登錄ly-02服務器，修改配置文件

cd /app/kafka/config/ vim server.properties #將broker.id=0修改為等于1

2.3. 登錄ly-03服務器，修改配置文件

cd /app/kafka/config/ vim server.properties #將broker.id=0修改為等于2

2.3. 啟動zk集群

登錄ly-01服務器

#進入zk目錄，找到咱們的腳本（腳本在哪都可以） /app/zookeeper-3.5.7 #啟動zk集群 ./zkmanage.sh start

三、kafka 基礎命令操作

3.1. kafka常用命令總覽

3.2. 單機前臺 啟動kafka和關(guān)閉kafka

bin/kafka-server-start.sh config/server.properties bin/kafka-server-stop.sh config/server.properties

這種啟動在命令窗口中啟動，不能關(guān)閉窗口，關(guān)閉窗口kafka服務也關(guān)了，因此這種啟動方式不建議使用。

3.3. 單機后臺(也叫守護式) 啟動kafka和關(guān)閉kafka

bin/kafka-server-start.sh -daemon config/server.properties bin/kafka-server-stop.sh -daemon config/server.properties

這種方式啟動確實滿足kafka了，但是這種方式也太麻煩了。因此需要手動只做kafka啟動關(guān)閉集群腳本

四、kafka集群命令腳本操作

4.1. kafka集群 啟動腳本

#創(chuàng)建kk-start.sh文件 vim kk-start.sh #復制一下內(nèi)容到腳本中 #!/bin/bash for host in ly-01 ly-02 ly-03 do echo "${host}:$1 kafka starting....." ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties" done #保存退出 #給腳本賦予可執(zhí)行權(quán)限 chmod u+x kk-start.sh #啟動kafka集群 ./kk-start.sh #注：前提是啟動zk集群

4.2. kafka集群 關(guān)閉腳本

#創(chuàng)建kk-stop.sh文件 vim kk-stop.sh #復制一下內(nèi)容到腳本中 #!/bin/bash for host in ly-01 ly-02 ly-03 do echo "${host}:$1 kafka stopping....." ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties" done #保存退出 #給腳本賦予可執(zhí)行權(quán)限 chmod u+x kk-stop.sh #啟動kafka集群 ./kk-stop.sh

4.3. 集群說明

腳本說明命令

域名也可以寫ip地址	ly-01 ly-02 ly-03
刷新環(huán)境變量	source /etc/profile
具體啟動或者關(guān)閉命令說明	略

總結(jié)

以上是生活随笔為你收集整理的kafka集群下载、启动、部署、测试的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。