kafka性能測試總結

1、測試數據

（1）kafka安裝的bin目錄：101.111.11.216 /opt/kafka_2.10-0.8.2.0/bin

（2）producer性能測試腳本：kafka-producer-perf-test.sh

（3）consumer性能測試腳本：kafka-consumer-perf-test.sh

2、環境初始化

（1）確保正常的producer和consumer邏輯

（2）消費者能正常消費topic爲：qa_test

（3）生產者能正常生產消息的topic：qa_test

（4）關閉全部consumer進程

3、關鍵字段解釋

一、測試資源（2）腳本中所需參數的說明：

（1）messages：生產者發送總的消息數量

（2）message-size：每條消息大小

（3）batch-size：每次批量發送消息的數量

（4）topics：生產者發送的topic

（5）threads：生產者用多少線程同時發送

（6）broker-list：安裝kafka服務broker機器，格式：ip:port

（7）producer-num-retries：消息發送失敗重試次數

（8）request-timeout-ms：消息請求發送超時時間

二、測試資源（3）腳本中所需參數說明

（1）zookeeper：zookeeper配置

（2）messages：消費者消費消息總數量

（3）topic：消費者須要消費的topic

（4）threads：消費者同時消費消息的線程數

（5）group：消費者組名稱

（6）socket-buffer-sizesocket：緩衝區大小

（7）fetch-size：每次向kafka broker請求消費大小

（8）consumer.timeout.ms：消費者去kafka broker取一條消息的超時時間

4、測試步驟

一、producer性能測試步驟：

（1）在測試資源（1）目錄下，啓動測試資源（2）。命令如：

./kafka-producer-perf-test.sh --messages 1000000 --message-size 1000 --batch-size 100 --topic qa_test --threads 4 --broker-list 10.138.65.216:9092 start.time,end.time,compression,message.size,batch.size,total.data.sent.in.MB,MB.sec,total.data.sent.in.nMsg,nMsg.sec

返回結果如：

2015-09-25 13:49:20:988, 2015-09-25 13:49:51:327, 0, 1000, 100, 953.67, 31.4339, 1000000, 32960.8754

（2）根據測試結果推算須要的指標

（3）根據不一樣的參數值，重複步驟（1）和（2）

二、consumer性能測試步驟：

（1）在測試資源（1）目錄下，啓動測試資源（3）。命令如：

./kafka-consumer-perf-test.sh --zookeeper 10.138.65.216:2181,10.138.65.217:2181,10.138.65.218:2181 --messages 50000 --topic qa_test --threads 2 start.time,end.time,fetch.size,data.consumed.in.MB,MB.sec,data.consumed.in.nMsg,nMsg.sec

返回結果如：

2015-09-25 14:18:26:775, 2015-09-25 14:18:32:497, 1048576, 29.0649, 40.2561, 67374, 93315.7895

（2）根據測試結果推算須要的指標

（3）根據不一樣的參數值，重複步驟（1）和（2）

5、其餘

一、WARN信息：WARN No broker partitions consumed by consumer thread perf-consumer-17532_s84.adsys...

解決方法：確認當前topic的partition數量，此數量與3.2.（4）對應

二、WARN信息：WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)

解決方法：無論

三、consumer的測試結果有負數

解決方法：檢查2.（1）