Kafka SCRAM和PLAIN实战
1.概述
目前Kafka ACL支持多種權限認證，今天筆者給大家介紹一下SCRAM和PLAIN的權限認證。驗證環境如下：
- JDK：1.8
- Kafka：2.3.0
- Kafka Eagle：1.3.8
2.內容
2.1?PLAIN認證
首先，在$KAFAK_HOME/config目錄新建一個文本文件，名為kafka_server_plain_jaas.conf，配置內容如下：
KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="admin"password="admin-secret"user_admin="admin-secret"user_ke="ke"; };接著，將腳本文件kafka-server-start.sh重命名為kafka-server-plain-start.sh，并修改最后一行的內容為：
# 添加鑒權文件 exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_plain_jaas.conf kafka.Kafka "$@"然后，復制server.properties文件并重命名為plain.properties，接著修改服務端配置文件plain.properties，內容如下：
# Protocol listeners=SASL_PLAINTEXT://127.0.0.1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=PLAIN sasl.enabled.mechanisms=PLAIN# ACL allow.everyone.if.no.acl.found=false super.users=User:admin authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer最后，創建客戶端用戶認證文件，kafka_client_plain_jaas.conf內容如下：
KafkaClient {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="ke"password="ke"; };2.2 啟動PLAIN認證集群
2.2.1 啟動Zookeeper
# Zookeeper的配置比較簡單，這里不多做介紹 zkServer.sh start2.2.2 啟動Kafka集群
# 進入到Kafka安裝bin目錄 ./kafka-server-plain-start.sh ../config/plain.properties &2.2.3 創建Topic
./kafka-topics.sh --create --zookeeper 127.0.0.1:2181/plain --replication-factor 1 --partitions 3 --topic test_plain2.2.4 添加讀寫權限
# 添加讀權限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --add --allow-principal User:ke --operation Read --topic test_plain # 添加寫權限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --add --allow-principal User:ke --operation Write --topic test_plain # 添加消費者組權限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --add --allow-principal User:ke --operation Read --group g_plain_test # 查看權限列表 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --list2.2.5 執行結果
2.3?SCRAM認證
PLAIN認證有個問題，就是不能動態新增用戶，每次添加用戶后，需要重啟正在運行的Kafka集群才能生效。為此，在生產環境，這種認證方式不符合實際業務場景。而SCRAM不一樣，使用SCRAM認證，可以動態新增用戶，添加用戶后，可以不用重啟正在運行的Kafka集群即可進行鑒權。
新增kafka_server_scram_jaas.conf，配置內容如下：
KafkaServer {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="admin"password="admin-secret"; };接著，將腳本文件kafka-server-start.sh重命名為kafka-server-scram-start.sh，并修改最后一行的內容為：
# 添加鑒權文件 exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_scram_jaas.conf kafka.Kafka "$@"然后在$KAFKA_HOME/config目錄中，復制server.properties文件并重命名為scram.properties，接著修改服務端配置文件scram.properties，內容如下：
# Protocol listeners=SASL_PLAINTEXT://dn1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256 sasl.enabled.mechanisms=SCRAM-SHA-256# ACL allow.everyone.if.no.acl.found=false super.users=User:admin authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer2.3.1 啟動Zookeeper
# Zookeeper的配置比較簡單，這里不多做介紹 zkServer.sh start2.3.2 添加管理員權限和普通用戶
# 添加管理員./kafka-configs.sh --zookeeper 127.0.0.1:2181/scram --alter --add-config 'SCRAM-SHA-256=[password=admin-secret],SCRAM-SHA-512=[password=admin-secret]' --entity-type users --entity-name admin
# 添加普通用戶(ke)
./kafka-configs.sh --zookeeper 127.0.0.1:2181/scram --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=ke],SCRAM-SHA-512=[password=ke]' --entity-type users --entity-name ke
2.3.3 啟動SCRAM認證集群
./kafka-server-scram-start.sh ../config/scram.properties &2.3.4 創建Topic
./kafka-topics.sh --create --zookeeper 127.0.0.1:2181/scram --replication-factor 1 --partitions 3 --topic test_scram2.3.5 添加權限
# 添加讀權限./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Read --topic test_scram
# 添加寫權限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Write --topic test_scram
# 添加消費者組權限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Read --group g_scram_test
# 查看權限列表 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --list
2.3.6 執行結果
3.Kafka權限級別
Kafka權限級別包含Topic、Group、Cluster、TransactionalId，每個維度涉及的權限內容如下：
| Resource | Operations |
| Topic | Read,Write,Describe,Delete,DescribeConfigs,AlterConfigs,All |
| Group | Read,Describe,All |
| Cluster | Create,ClusterAction,DescribeConfigs,AlterConfigs,IdempotentWrite,Alter,Describe,All |
| TransactionalId | Describe,Write,All |
例如，統計Topic的Capacity大小時，如果拋出異常“Cluster authorization failed”，這是由于沒有開啟Cluster級別的Describe權限，執行如下命令即可：
./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Describe --cluster4.Kafka Eagle集成SCRAM認證
那么如何使用Kafka Eagle來集成有SCRAM認證的Kafka集群，進行監控呢？訪問http://www.kafka-eagle.org/，下載安裝包，解壓并配置如下內容：
# 這里對啟動一個擁有SCRAM認證的Kafka集群（別名為cluster1）進行配置 cluster1.kafka.eagle.sasl.enable=true cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256 cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="ke" password="ke"; # 這里ClientId如果不需要，可以不用配置 cluster1.kafka.eagle.sasl.client.id=然后，執行ke.sh start進行啟動Kafka Eagle監控系統。
4.1 Topic預覽
4.2 使用KSQL查詢Topic
執行如下SQL語句，代碼如下：
select * from "test_scram" where "partition" in (0) limit 1執行結果如下：
5.總結
生產環境中，用戶可能隨著業務需要，增加或者刪除，此時動態控制用戶時很有必要的。而且，生產環境Kafka集群不可能隨隨便便重啟，因此采用SCRAM來進行Kafka鑒權非常適合。
6.結束語
這篇博客就和大家分享到這里，如果大家在研究學習的過程當中有什么問題，可以加群進行討論或發送郵件給我，我會盡我所能為您解答，與君共勉！
另外，博主出書了《Kafka并不難學》和《Hadoop大數據挖掘從入門到進階實戰》，喜歡的朋友或同學，?可以在公告欄那里點擊購買鏈接購買博主的書進行學習，在此感謝大家的支持。關注下面公眾號，根據提示，可免費獲取書籍的教學視頻。
轉載于:https://www.cnblogs.com/smartloli/p/11404610.html
總結
以上是生活随笔為你收集整理的Kafka SCRAM和PLAIN实战的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Sql优化文档
- 下一篇： FLEXAIR 界面展示。