python confluent kafka客戶端配置kerberos認證

    kafka的認證方式通常有以下3種：

    1. SASL/GSSAPI  從版本0.9.0.0開始支持

    2. SASL/PLAIN   從版本0.10.0.0開始支持

    3. SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512   從版本0.10.2.0開始支持

    其中第一種SASL/GSSAPI的認證就是kerberos認證，對於java來講有原生的支持，可是對於python來講配置稍微麻煩一些，下面說一下具體的配置過程，confluent kafka模塊底層依賴於librdkafka，這是使用c編寫的高性能的kafka客戶端庫，有好多語言的庫都是依賴於這個，因此GSSAPI接口的開啓也須要在librdkafka編譯的時候支持

    librdkafka源碼：https://github.com/edenhill/librdkafka

    編譯以前須要先安裝必要的開發包，不然相關的接口編譯不進去

    首先是openssl庫，使用yum安裝爲： yum -y install openssl openssl-devel ，編譯openssl只能支持默認的PLAIN還有SCRAM這兩種機制，沒法支持GSSAPI的機制，還須要編譯libsasl2依賴，yum安裝命令以下：

yum install cyrus-sasl-gssapi cyrus-sasl-devel

    在ubuntu下使用命令： apt-get install libsasl2-modules-gssapi-mit libsasl2-dev 安裝libsasl2開發包

    而後確認一下是否有zlib庫，這個是方便對kafka消息壓縮使用的，通常都會存在，安裝命令： yum install zlib-devel ，若是須要更高的性能能夠手動編譯安裝zstd而且啓用壓縮，這裏再也不詳細敘述

    上面的庫都安裝成功就能夠開始編譯librdkafka源碼了，這裏源碼包爲：librdkafka-1.2.1.tar.gz，安裝命令以下：

# 解壓包
tar -xvzf librdkafka-1.2.1.tar.gz
cd librdkafka-1.2.1
# 編譯源碼
./configure
make
make install

    上面注意一下在執行命令./configure以後，根據輸出確認libssl以及libsasl2是否被開啓，以下：

    

    這裏libssl以及libsasl2都顯示ok說明是能夠的，如今SSL和SASL SCRAM以及SASL GSSAPI都已經支持了，執行configure階段沒指定prefix則默認安裝位置爲/usr/local，動態庫位置就爲：/usr/local/lib，須要將這個目錄添加到動態庫鏈接列表中，好比加到/etc/ld.so.conf，保存後執行ldconfig生效

    最後能夠編譯和安裝python的confluent kafka模塊，這裏安裝的版本是1.2.0，安裝以後能夠運行下面的代碼測試：

 1 #!/usr/bin/env python3
 2 # coding=utf-8
 3 from confluent_kafka import Producer
 4 
 5 def delivery_report(err, msg):
 6     """ Called once for each message produced to indicate delivery result.
 7         Triggered by poll() or flush(). """
 8     if err is not None:
 9         print('Message delivery failed: {}'.format(err))
10     else:
11         print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition()))
12 
13 if __name__ == '__main__':
14     producer_conf = {
15         "bootstrap.servers": '192.168.0.3:9092,192.168.0.4:9092,192.168.0.5:9092',
16         "security.protocol": 'sasl_plaintext',
17         'sasl.kerberos.service.name': 'kafka',
18         'sasl.kerberos.keytab': '/opt/user.keytab',
19         'sasl.kerberos.principal': 'kafkauser',
20     }
21     p = Producer(producer_conf)
22 
23     p.poll(0)
24     p.produce('testTopic', 'confluent kafka test'.encode('utf-8'),
25         callback=delivery_report)
26 
27     p.flush()
28     print('done')

    若是生產消息正常就配置成功了，使用GSSAPI只須要配置security.protocol以及keytab的路徑便可，其餘的認證參數好比用戶名和密碼在不一樣的認證機制下配置，更多的配置參數參考文檔：https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md

    librdkafka SASL認證的詳細配置流程參考：https://github.com/edenhill/librdkafka/wiki/Using-SASL-with-librdkafka