手動部署Kraft模式kafka集群

基本信息

IP地址	Hostname	Release	Kafka-Version
172.29.145.157	iamdemo1	Centos7.9	kafka_2.12-3.5.1
172.29.145.182	iamdemo2	Centos7.9	kafka_2.12-3.5.1
172.29.145.183	iamdemo3	Centos7.9	kafka_2.12-3.5.1

下載安裝包

kafka安裝包官網(wǎng)下載
下載完成后上傳到服務(wù)器/opt目錄下解壓

tar -xf kafka_2.12-3.5.1.tgz
將文件夾重命名為kafka
mv kafka_2.12-3.5.1 kafka

生成集群隨機(jī)uuid

[root@iamdemo1 ~ ]cd /opt/kafka/bin
[root@iamdemo1 bin]# sh kafka-storage.sh random-uuid
COY-4PxTT82yfvGKqAepwQ

使用集群uuid格式化kafka數(shù)據(jù)存儲目錄

[root@iamdemo1 bin]# sh kafka-storage.sh format -t COY-4PxTT82yfvGKqAepwQ -c ../config/kraft/server.properties
Formatting /opt/kafka/kraft-combined-logs with metadata.version 3.5-IV2.

配置kafka集群的kraft模式參數(shù)

參數(shù)位置：/opt/kafka/config/kraft/server.properties

##角色可同時為broker和controller
process.roles=broker,controller 
##node.id為當(dāng)前服務(wù)器作為節(jié)點的id
node.id=1  
##定義投票節(jié)點，用于選舉Master,每個節(jié)點都必須配置
controller.quorum.voters=1@172.29.145.157:9093,2@172.29.145.182:9093,3@172.29.145.183:9093 
##9092為每個broker的通信端口，9092為controller節(jié)點的混合端口，如果一個節(jié)點是混合節(jié)點那就需要同時監(jiān)聽兩個端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://172.29.145.157:9094 
##broker內(nèi)部監(jiān)聽協(xié)議
inter.broker.listener.name=PLAINTEXT 
##對外公開的端口
advertised.listeners=EXTERNAL://172.29.145.157:9094,PLAINTEXT://:9092 

controller.listener.names=CONTROLLER 
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL,EXTERNAL:PLAINTEXT
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
##kafka數(shù)據(jù)默認(rèn)存儲的地方
log.dirs=/opt/kafka/kraft-combined-logs 
##每一個topic默認(rèn)的分區(qū)
num.partitions=6 
##恢復(fù)線程
num.recovery.threads.per.data.dir=2 
##用于存儲消費者組的消費偏移量信息的特殊主題，用于在發(fā)生故障時或者重新加入時能夠恢復(fù)到之前的消費位置
offsets.topic.replication.factor=3 
##用于存儲事務(wù)狀態(tài)信息的特殊主題，kafka支持事務(wù)性寫入，當(dāng)生產(chǎn)者使用事務(wù)模式寫入數(shù)據(jù)時，信息會寫入這個主題
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
auto.create.topics.enable=false
default.replication.factor=3
##數(shù)據(jù)的存儲時間
log.retention.hours=168
##設(shè)置kafka一個數(shù)據(jù)段最大值1G
log.segment.bytes=1073741824
##檢查數(shù)據(jù)過期時間300s一次
log.retention.check.interval.ms=300000

修改啟動腳本，暴露JMX端口，配置JVM內(nèi)存大小

##注意，jdk必須為64位jdk，否則JVM內(nèi)存大小設(shè)置為4G會報錯啟動失敗，查看方法java --version如果沒有顯示64bit的都是32位
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
    export JMX_PORT="9999"
fi

修改kafka日志配置參數(shù)，避免一小時生成一個日志文件

文件位置：/opt/kafka/config/log4j.properties

##添加兩條日志最大量
log4j.appender.kafkaAppender.MaxFileSize=100MB
log4j.appender.kafkaAppender.MaxBackupIndex=5
##修改DatePattern
log4j.appender.kafkaAppender.DatePattern='.'yyyy-MM-dd

使用腳本啟動kafka集群

[root@iamdemo1 bin]# sh kafka-server-start.sh -daemon ../config/kraft/server.properties

查看集群狀態(tài)

通過jps即可看到kafka進(jìn)程是否在運行，也可通過ps aux查看
查看topic副本分布情況可以通過
./kafka-topics.sh --describe  --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092

Topic: test-topic1      TopicId: U3-YpQ4QQqWM7jQ-8uAxjA PartitionCount: 6       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: test-topic1      Partition: 0    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2
        Topic: test-topic1      Partition: 1    Leader: 1       Replicas: 1,2,3 Isr: 1,2,3
        Topic: test-topic1      Partition: 2    Leader: 2       Replicas: 2,3,1 Isr: 2,3,1
        Topic: test-topic1      Partition: 3    Leader: 1       Replicas: 1,2,3 Isr: 1,2,3
        Topic: test-topic1      Partition: 4    Leader: 2       Replicas: 2,3,1 Isr: 2,3,1
        Topic: test-topic1      Partition: 5    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2

總結(jié)

以上是生活随笔為你收集整理的手动部署Kraft模式Kafka集群的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。