kafka生產者和消費者吞吐量測試-kafka 商業環境實戰

kafka線上真實環境實戰及調優進階系列

• kafka 商業環境實戰-kafka生產環境規劃
• kafka 商業環境實戰-kafka生產者和消費者吞吐量測試
• kafka 商業環境實戰-kafka生產者Producer參數設置及參數調優建議

本套系列博客從真實商業環境抽取案例進行總結和分享，並給出kafka商業應用的調優建議和集羣環境容量規劃等內容，請持續關注本套博客。版權聲明：本套kafka調優系列版權歸做者(秦凱新)全部，禁止轉載，歡迎學習。

1. kafka生產者吞吐量測試指標

kafka-producer-perf-test :是kafka提供的測試Producer性能腳本，經過腳本，能夠計算出Producer在一段時間內的平均延時和吞吐量。

1.1 kafka-producer-perf-test

在kafka安裝目錄下面執行以下命令,生產環境中儘可能讓腳本運行較長的時間，纔會有意義：

bin/kafka-producer-perf-test.sh --topic test --num-records 500000 --record-size 200 --througthput -1 --producer-props bootstrap.servers=bd-master:9092,bd-slave1=9092,bd-slave3=9092 acks=1

1.2 測試結果分析以下：

500000 records sent ,41963 records/sec (8.00 MB/sec),2362.85 ms/avg latency ,3513.00 ms max latency ,2792ms 50h ,3144ms 95th ,3364 ms 99h,3503ms 99.9th

看到上面的結果確定蒙了，看我細細講來： kafka 的平均吞吐量是8.00 MB/sec ，即佔用64Mb/s左右的帶寬，平均每一秒發送41963條消息。平均延時爲2362.85 ms，最大延時爲3513.00 ms，95%的消息發送須要3144ms，99%的消息發送須要3364ms，99.9%的消息發送須要3503ms。

2. kafka消費者吞吐量指標說明：

2.1 kafka-consumer-perfs

咱們總共測試500萬條數據量 bin/kafka-consumer-perfs-test.sh --broker-list bd-master:9092,bd-slave1=9092,bd-slave3=9092 --message-size 200 --messages 500000 --topic test

2.2 獲得以下結果：

2018-10-28 9:39:02 95.4188 92.2313 500271 484289 看到上面的結果確定蒙了，看我細細講來： 該環境下，1s內總共消費了95.4188MB消息，吞吐量爲92.2313MB/s,也即736Mb/s。

3 結語

秦凱新 於深圳 2018-10-28