實戰Kafka ACL機制

1.概述   在Kafka0.9版本以前，Kafka集羣時沒有安全機制的。Kafka Client應用能夠經過鏈接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。來獲取存儲在Zookeeper中的Kafka元數據信息。拿到Kafka Broker地址後，鏈接到Kafka集羣，就能夠操做集羣上的全部主題了。因爲沒有權限控制，集羣核心的業務主題時存在風險的。

2.內容 2.2 身份認證   Kafka的認證範圍包含以下：

Client與Broker之間

Broker與Broker之間

Broker與Zookeeper之間

  當前Kafka系統支持多種認證機制，如SSL、SASL（Kerberos、PLAIN、SCRAM）。

2.3 SSL認證流程   在Kafka系統中，SSL協議做爲認證機制默認是禁止的，若是須要使用，能夠手動啓動SSL機制。安裝和配置SSL協議的步驟，以下所示：

在每一個Broker中Create一個Tmp密鑰庫

建立CA

給證書籤名

配置Server和Client

  執行腳本以下所示：

1#! /bin/bash 2# 1.Create rsa 3keytool -keystore server.keystore.jks -alias dn1 -validity 365 -genkey -keyalg RSA 4# 2.Create CA 5openssl req -new -x509 -keyout ca-key -out ca-cert -days 365 6# 3.Import client 7keytool -keystore client.truststore.jks -alias CAROOT -import -file ca-cert 8# 4.Import server 9keytool -keystore server.truststore.jks -alias CAROOT -import -file ca-cert 10# 5.Export 11keytool -keystore server.keystore.jks -alias dn1 -certreq -file cert-file 12# 6.Signed 13openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 365 -CAcreateserial -passin pass:123456 14# 7.Import ca-cert 15keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert 16# 8.Import cert-signed 17keytool -keystore server.keystore.jks -alias dn1 -import -file cert-signed 2.4 SASL認證流程   在Kafka系統中，SASL機制包含三種，它們分別是Kerberos、PLAIN、SCRAM。以PLAIN認證爲示例，下面給你們介紹PLAIN認證流程。

2.4.1 配置Server   首先，在$KAFKA_HOME/config目錄中新建一個文件，名爲kafka_server_jaas.conf，配置內容以下：

1KafkaServer { 2 org.apache.kafka.common.security.plain.PlainLoginModule required 3 username="smartloli" 4 password="smartloli-secret" 5 user_admin="smartloli-secret"; 6}; 7 8Client { 9 org.apache.kafka.common.security.plain.PlainLoginModule required 10 username="smartloli" 11 password="smartloli-secret"; 12};   而後在Kafka啓動腳本（kafka-server-start.sh）中添加配置文件路徑，設置內容以下：

1[hadoop@dn1 bin]$ vi kafka-server-start.sh 2 3# Add jaas file 4export KAFKA_OPTS="-Djava.security.auth.login.config=/data/soft/new/kafka/config/kafka_server_jaas.conf" 接下來，配置server.properties文件，內容以下：

1# Set ip & port 2listeners=SASL_PLAINTEXT://dn1:9092 3advertised.listeners=SASL_PLAINTEXT://dn1:9092 4# Set protocol 5security.inter.broker.protocol=SASL_PLAINTEXT 6sasl.enabled.mechanisms=PLAIN 7sasl.mechanism.inter.broker.protocol=PLAIN 8 9# Add acl 10allow.everyone.if.no.acl.found=true 11auto.create.topics.enable=false 12delete.topic.enable=true 13advertised.host.name=dn1 14super.users=User:admin 15 16# Add class 17authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer 2.4.2 配置Client   當Kafka Server端配置啓用了SASL/PLAIN，那麼Client鏈接的時候須要配置認證信息，Client配置一個kafka_client_jaas.conf文件，內容以下：

1KafkaClient { 2 org.apache.kafka.common.security.plain.PlainLoginModule required 3 username="admin" 4 password="admin-secret"; 5};  而後，在producer.properties和consumer.properties文件中設置認證協議，內容以下：

1security.protocol=SASL_PLAINTEXT 2sasl.mechanism=PLAIN 最後，在kafka-console-producer.sh腳本和kafka-console-producer.sh腳本中添加JAAS文件的路徑，內容以下：

1# For example: kafka-console-producer.sh 2hadoop@dn1 bin]$ vi kafka-console-producer.sh 3 4# Add jaas file 5export KAFKA_OPTS="-Djava.security.auth.login.config=/data/soft/new/kafka
6/config/kafka_client_jaas.conf"

2.5 ACL操做   在配置好SASL後，啓動Zookeeper集羣和Kafka集羣以後，就可使用kafka-acls.sh腳原本操做ACL機制。

  （1）查看：在kafka-acls.sh腳本中傳入list參數來查看ACL受權新

1[hadoop@dn1 bin]$ kafka-acls.sh --list --authorizer-properties zookeeper.connect=dn1:2181

（2）建立：建立待受權主題以前，在kafka-acls.sh腳本中指定JAAS文件路徑，而後在執行建立操做

1[hadoop@dn1 bin]$ kafka-topics.sh --create --zookeeper dn1:2181 --replication-factor 1 --partitions 1 --topic kafka_acl_topic （3）生產者受權：對生產者執行受權操做

1[hadoop@dn1 ~]$ kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=dn1:2181 --add --allow-principalUser:producer --operation Write --topic kafka_acl_topic （4）消費者受權：對生產者執行受權後，經過消費者來進行驗證

1[hadoop@dn1 ~]$ kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=dn1:2181 --add --allow-principalUser:consumer --operation Read --topic kafka_acl_topic （5）刪除：經過remove參數來回收相關權限

1[hadoop@dn1 bin]$ kafka-acls.sh --authorizer-properties zookeeper.connect=dn1:2181 --remove --allow-principal User:producer --operation Write --topic kafka_acl_topic3 3.總結   在處理一些核心的業務數據時，Kafka的ACL機制仍是很是重要的，對核心業務主題進行權限管控，可以避免沒必要要的風險。

歡迎工做一到五年的Java工程師朋友們加入Java程序員開發： 854393687 羣內提供免費的Java架構學習資料（裏面有高可用、高併發、高性能及分佈式、Jvm性能調優、Spring源碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料）合理利用本身每一分每一秒的時間來學習提高本身，不要再用"沒有時間「來掩飾本身思想上的懶惰！趁年輕，使勁拼，給將來的本身一個交代！