Mysql 性能測試工具 sysbench的安裝和使用

     工做上須要用到AWS和Azure的Mysql服務，須要測試比較一下兩個雲服務的性能。因而開始百度 + google，查找性能測試工具。最終決定用sysbench。

sysbench介紹

              sysbench是一款開源的多線程性能測試工具，能夠執行CPU/內存/線程/IO/數據庫等方面的性能測試。

數據庫目前支持MySQL/Oracle/PostgreSQL。本文只是簡單演示一下幾種測試的用法，後續準備利用sysbench來對MySQL進行一系列的測試。具體的一些參數設置，須要根據不一樣的測試要求來進行調整。

安裝

1. 下載安裝包，地址 https://github.com/akopytov/sysbench

#wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
#unzip sysbench-1.0.zip
#cd sysbench-1.0

2. 安裝依賴庫

#yum install automake libtool -y

3. 開始安裝

#./autogen.sh
#./configure
#ERROR: cannot find MySQL libraries. If you want to compile with MySQL support 沒找到mysql庫 須要用參數指定下 --with-mysql-includes和--with-mysql-libs
#./configure --with-mysql-includes=/alidata/server/mysql5.7/include/ --with-mysql-libs=/alidata/server/mysql5.7/lib/

4. 因爲是yum安裝的mysql，我也不知道路徑在哪裏。如何查找mysql的安裝路徑？

安裝mysql-devel，才能使用mysql_config

#yum install -y mysql-devel
#mysql_config -help
Usage: /usr/bin/mysql_config-64 [OPTIONS]
Options:
--cflags         [-I/usr/include/mysql -g  -fstack-protector  -m64 -fPIC  -g -fabi-version=2 -fno-omit-frame-pointer -fno-strict-aliasing]
--cxxflags       [-I/usr/include/mysql -g  -fexceptions -fstack-protector  -m64 -fPIC  -g -fabi-version=2 -fno-omit-frame-pointer -fno-strict-aliasing]
--include        [-I/usr/include/mysql]
--libs           [-L/usr/lib64/mysql -lmysqlclient -lpthread -lm -lrt -ldl]
--libs_r         [-L/usr/lib64/mysql -lmysqlclient -lpthread -lm -lrt -ldl]
--plugindir      [/usr/lib64/mysql/plugin]
--socket         [/var/lib/mysql/mysql.sock]
--port           [0]
--version        [5.6.39]
--libmysqld-libs [-L/usr/lib64/mysql -lmysqld -lpthread -lm -lrt -lcrypt -ldl -laio -lnuma]
--variable=VAR   VAR is one of:
pkgincludedir [/usr/include/mysql]
pkglibdir     [/usr/lib64/mysql]
plugindir     [/usr/lib64/mysql/plugin]

5. 再次執行config，成功

# ./configure --with-mysql-includes=/usr/include/mysql --with-mysql-libs=/usr/lib64/mysql
#make

6. 執行下命令:

#sysbench --help
#sysbench: error while loading shared libraries: libmysqlclient.so.20: cannot open shared object file: No such file or directory
#問題緣由：sysbench沒法找到mysql的庫文件，多是環境變量LD_LIBRARY_PATH沒有設置，設置後便可解決該問題：
#export LD_LIBRARY_PATH=/alidata/server/mysql5.7/lib/lib
#sysbench --version
sysbench 1.0.12 (using bundled LuaJIT 2.1.0-beta2)

準備測試表和數據

1. 建立測試數據庫：

mysql>create database dbtest;

2. 測試命令

#/home/mysql/sysbench-1.0/src/sysbench --test=/home/mysql/sysbench-1.0/tests/include/oltp_legacy/oltp.lua \
--mysql-host=mysql-host-ip --mysql-port=3306 --mysql-user=envision --mysql-password=password \
--mysql-db=dbtest --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --rand-init=on --max-requests=0 \
--oltp-read-only=off --max-time=120 --num-threads=30 \
[ prepare | run | cleanup ]

##三選一

prepare 準備；

run 運行；

cleanup  清理數據。

注意最後一行，一項測試開始前須要用prepare來準備好表和數據，run執行真正的壓測，cleanup用來清除數據和表。

3. 執行sysbench命令參數解釋：

#-test=/root/sysbench-1.0/tests/include/oltp_legacy/oltp.lua 表示調用 oltp.lua 腳本進行 oltp 模式測試
#--oltp_tables_count=10 表示會生成 10 個測試表
#--oltp-table-size=500000 表示每一個測試表填充數據量爲 500000 
#--rand-init=on 表示每一個測試表都是用隨機數據來填充的
#-num-threads=8 表示發起 8個併發鏈接
#--oltp-read-only=off 表示不要進行只讀測試，也就是會採用讀寫混合模式測試#--report-interval=10 表示每10秒輸出一次測試進度報告
#--rand-type=uniform 表示隨機類型爲固定模式，其餘幾個可選隨機模式：uniform(固定),gaussian(高斯),special(特定的),pareto(帕累託)
#--max-time=120 表示最大執行時長爲 120秒#--max-requests=0 表示總請求數爲 0，由於上面已經定義了總執行時長，因此總請求數能夠設定爲 0；也能夠只設定總請求數，不設定最大執行時長
#--percentile=99 表示設定採樣比例，默認是 95%，即丟棄1%的長請求，在剩餘的99%裏取最大值

4. 測試準備: 30個併發鏈接，10張表 每一個表填充50W條數據 最大請求時間120s

#/home/mysql/sysbench-1.0/src/sysbench --test=/home/mysql/sysbench-1.0/tests/include/oltp_legacy/oltp.lua \
--mysql-host=mysql-host-ip --mysql-port=3306 --mysql-user=envision --mysql-password=password \
--mysql-db=dbtest --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --rand-init=on --max-requests=0 \
--oltp-read-only=off --max-time=120 --num-threads=30 \
prepare
Creating table 'sbtest1'...
Inserting 100000 records into 'sbtest1'
Creating secondary indexes on 'sbtest1'...
Creating table 'sbtest2'...
Inserting 100000 records into 'sbtest2'
Creating secondary indexes on 'sbtest2'...
......
Inserting 100000 records into 'sbtest9'
Creating secondary indexes on 'sbtest9'...
Creating table 'sbtest10'...
Inserting 100000 records into 'sbtest10'
Creating secondary indexes on 'sbtest10'...

5. 執行sysbench測試，並輸出測試報告

#/home/mysql/sysbench-1.0/src/sysbench --test=/home/mysql/sysbench-1.0/tests/include/oltp_legacy/oltp.lua \
--mysql-host=mysql-host-ip --mysql-port=3306 --mysql-user=envision --mysql-password=password \
--mysql-db=dbtest --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --rand-init=on --max-requests=0 \
--oltp-read-only=off --max-time=120 --num-threads=128 \
run > /tmp/liang/mysql-report.txt

6. 查看測試報告

30個threads

sysbench 1.0.12 (using bundled LuaJIT 2.1.0-beta2)
Running the test with following options:
Number of threads: 30
Report intermediate results every 10 second(s)
Initializing random number generator from current time
Initializing worker threads...
Threads started!
[ 10s ] thds: 30 tps: 188.63 qps: 3795.16 (r/w/o: 2659.89/755.31/379.96) lat (ms,95%): 223.34 err/s: 0.00 reconn/s: 0.00
[ 20s ] thds: 30 tps: 177.80 qps: 3563.97 (r/w/o: 2496.95/711.31/355.71) lat (ms,95%): 248.83 err/s: 0.00 reconn/s: 0.00
[ 30s ] thds: 30 tps: 177.20 qps: 3542.62 (r/w/o: 2479.82/708.30/354.50) lat (ms,95%): 235.74 err/s: 0.00 reconn/s: 0.00
[ 40s ] thds: 30 tps: 189.60 qps: 3797.38 (r/w/o: 2658.99/759.20/379.20) lat (ms,95%): 227.40 err/s: 0.00 reconn/s: 0.00
[ 50s ] thds: 30 tps: 190.40 qps: 3798.09 (r/w/o: 2655.29/762.20/380.60) lat (ms,95%): 211.60 err/s: 0.00 reconn/s: 0.00
[ 60s ] thds: 30 tps: 179.70 qps: 3598.40 (r/w/o: 2520.50/718.40/359.50) lat (ms,95%): 235.74 err/s: 0.00 reconn/s: 0.00
[ 70s ] thds: 30 tps: 187.30 qps: 3740.91 (r/w/o: 2617.61/748.50/374.80) lat (ms,95%): 227.40 err/s: 0.00 reconn/s: 0.00
[ 80s ] thds: 30 tps: 187.40 qps: 3755.29 (r/w/o: 2630.19/750.40/374.70) lat (ms,95%): 211.60 err/s: 0.00 reconn/s: 0.00
[ 90s ] thds: 30 tps: 188.10 qps: 3762.11 (r/w/o: 2632.80/753.10/376.20) lat (ms,95%): 211.60 err/s: 0.00 reconn/s: 0.00
[ 100s ] thds: 30 tps: 183.70 qps: 3676.35 (r/w/o: 2575.16/733.69/367.49) lat (ms,95%): 227.40 err/s: 0.00 reconn/s: 0.00
[ 110s ] thds: 30 tps: 190.80 qps: 3816.33 (r/w/o: 2671.42/763.41/381.50) lat (ms,95%): 211.60 err/s: 0.00 reconn/s: 0.00
[ 120s ] thds: 30 tps: 195.49 qps: 3907.36 (r/w/o: 2733.40/783.17/390.79) lat (ms,95%): 204.11 err/s: 0.00 reconn/s: 0.00
SQL statistics:
    queries performed:
        read:                            313488 --讀總數
        write:                           89568  --寫總數
        other:                           44784 --其餘操做(CURD以外的操做，例如COMMIT)
        total:                           447840 --所有總數
    transactions:                        22392  (186.27 per sec.) --總事務數(每秒事務數)
    queries:                             447840 (3725.43 per sec.) --總數(每秒總數)
    ignored errors:                      0      (0.00 per sec.)  --總忽略錯誤總數(每秒忽略錯誤次數)
    reconnects:                          0      (0.00 per sec.) --重連總數(每秒重連次數)
General statistics:
    total time:                          120.2098s --總耗時
    total number of events:              22392 --共發生多少事務數
Latency (ms):
         min:                                  105.91 --最小耗時
         avg:                                  160.86 --平均耗時
         max:                                  850.77 --最長耗時
         95th percentile:                      223.34 --超過95%平均耗時
         sum:                              3601892.56
Threads fairness:
    events (avg/stddev):           746.4000/4.95 --總處理事件數/標準誤差
    execution time (avg/stddev):   120.0631/0.05--總執行時間/標準誤差

通過測試，AWS和Azure的mysql性能相差無幾。sysbench的工具，使用起來也比較簡單直觀。適合對Mysql的簡單性能測試。後續有時間，再研究一下sysbench對CPU，IO等性能測試的狀況和使用感覺。

參考文檔：

http://blog.csdn.net/oahz4699092zhao/article/details/53332105

http://www.jb51.net/article/93924.htm

https://nsimple.top/archives/mysql-sysbench-tool.html