mysql運維-基準測試之sysbench

基準測試簡介
?    什麼是基準測試：數據庫的基準測試是對數據庫的性能指標進行定量的、可復現的、可對比的測試。
?    基準測試與壓力測試：基準測試能夠理解爲針對系統的一種壓力測試。但基準測試不關心業務邏輯，更加簡單、直接、易於測試，數據能夠由工具生成，不要求真實；而壓力測試通常考慮業務邏輯(如購物車業務)，要求真實的數據。
?    基準測試的做用：對於多數Web應用，整個系統的瓶頸在於數據庫；緣由很簡單：Web應用中的其餘因素，例如網絡帶寬、負載均衡節點、應用服務器（包括CPU、內存、硬盤燈、鏈接數等）、緩存，都很容易經過水平的擴展（俗稱加機器）來實現性能的提升。而對於MySQL，因爲數據一致性的要求，沒法經過增長機器來分散向數據庫寫數據帶來的壓力；雖然能夠經過前置緩存（Redis等）、讀寫分離、分庫分表來減輕壓力，可是與系統其它組件的水平擴展相比，受到了太多的限制。而對數據庫的基準測試的做用，就是分析在當前的配置下（包括硬件配置、OS、數據庫設置等），數據庫的性能表現，從而找出MySQL的性能閾值，並根據實際系統的要求調整配置。

基準測試的指標：
常見的數據庫指標包括：
    TPS/QPS：衡量吞吐量。
    響應時間：包括平均響應時間、最小響應時間、最大響應時間、時間百分比等，其中時間百分比參考意義較大，如前95%的請求的最大響應時間。。
    併發量：同時處理的查詢請求的數量。

在針對MySQL進行基準測試時，通常使用專門的工具進行，例如sysbench。

sysbench是跨平臺的基準測試工具，支持多線程，支持多種數據庫；主要包括如下幾種測試：

    cpu性能
    磁盤io性能
    調度程序性能
    內存分配及傳輸速度
    POSIX線程性能
    數據庫性能(OLTP基準測試)

安裝篇：

下載：https://github.com/akopytov/sysbench
解壓：unzip sysbench-1.0.zip
進入目錄：cd sysbench-1.0
開始安裝：
./autogen.sh
./configure
#ERROR: cannot find MySQL libraries. If you want to compile with MySQL support 沒找到mysql庫 須要用參數指定下 --with-mysql-includes和--with-mysql-libs
./configure --with-mysql-includes=/d/app/mysql5.7/include/ --with-mysql-libs=/d/app/mysql5.7/lib/
make
make install
測試安裝是否成功：sysbench --version

參數介紹篇：執行sysbench –help，能夠看到sysbench的詳細使用方法。

sysbench的基本語法以下：
sysbench [options]... [testname] [command]

（1）command
command是sysbench要執行的命令，包括prepare、run和cleanup，顧名思義，prepare是爲測試提早準備數據，run是執行正式的測試，cleanup是在測試完成後對數據庫進行清理。
（2）testname
testname指定了要進行的測試，在老版本的sysbench中，能夠經過--test參數指定測試的腳本；而在新版本中，--test參數已經聲明爲廢棄，能夠不使用--test，而是直接指定腳本。

例如，以下兩種方法效果是同樣的：
1）sysbench --test=./tests/include/oltp_legacy/oltp.lua
2）sysbench ./tests/include/oltp_legacy/oltp.lua

測試時使用的腳本爲lua腳本，可使用sysbench自帶腳本，也能夠本身開發。對於大多數應用，使用sysbench自帶的腳本就足夠了。不一樣版本的sysbench中，lua腳本的位置可能不一樣，能夠本身在sysbench路徑下使用find命令搜索oltp.lua。P.S.：大多數數據服務都是oltp類型的，若是你不瞭解什麼是oltp，那麼大機率你的數據服務就是oltp類型的。

（3）options

sysbench的參數有不少，其中比較經常使用的包括：

MySQL鏈接信息參數

    --mysql-host：MySQL服務器主機名，默認localhost；若是在本機上使用localhost報錯，提示沒法鏈接MySQL服務器，改爲本機的IP地址應該就能夠了。
    --mysql-port：MySQL服務器端口，默認3306
    --mysql-user：用戶名
    --mysql-password：密碼
MySQL執行參數

    --oltp-test-mode：執行模式，包括simple、nontrx和complex，默認是complex。simple模式下只測試簡單的查詢；nontrx不只測試查詢，還測試插入更新等，可是不使用事務；complex模式下測試最全面，會測試增刪改查，並且會使用事務。能夠根據本身的須要選擇測試模式。
    --oltp-tables-count：測試的表數量，根據實際狀況選擇
    --oltp-table-size：測試的表的大小，根據實際狀況選擇
    --threads：客戶端的併發鏈接數
    --time：測試執行的時間，單位是秒，該值不要過短，能夠選擇120
    --report-interval：生成報告的時間間隔，單位是秒，如10

在執行sysbench時，應該注意：
（1）儘可能不要在MySQL服務器運行的機器上進行測試，一方面可能沒法體現網絡（哪怕是局域網）的影響，另外一方面，sysbench的運行（尤爲是設置的併發數較高時）會影響MySQL服務器的表現。
（2）能夠逐步增長客戶端的併發鏈接數（--thread參數），觀察在鏈接數不一樣狀況下，MySQL服務器的表現；如分別設置爲10,20,50,100等。
（3）通常執行模式選擇complex便可，若是須要特別測試服務器只讀性能，或不使用事務時的性能，能夠選擇simple模式或nontrx模式。
（4）若是連續進行屢次測試，注意確保以前測試的數據已經被清理乾淨。
        在OLTP測試過程當中，數據庫初始化後，冷備data目錄，每次測試完畢後刪除當前數據目錄，拷貝data目錄從新啓動，爲的是每次開始測試前環境保持一致。
（5）基準測試要進行屢次纔有意義。
（6）測試完成後，須要再系統層作一些清理的工做
        shell>sync                                                  #刷新髒數據到磁盤
        shell>echo 3 >/proc/sys/vm/drop_cache #清除cache
        shell>swapoff -a && swapon -a               #釋放swap
（7）壓測過程當中須要修改參數max_prepared_stmt_count默認爲16382，修改成65536
（8）若是是SSD硬盤的話，innodb_io_capacity和innodb_io_capacity_max兩個參數也要相應調大，建議調整到50000以上。
（9）對於測試數據的準備，咱們經過show engine innodb status觀察Free buffers,儘可能模擬生產環境，讓測試數據填滿整個buffer pool。我這裏innodb_buffer_pool_size設置的40G，測試表數量10張，每張表數據2000萬，差很少填滿buffer pool。

壓測實例以及結果解讀篇：

1.cpu測試
sysbench --test=cpu --cpu-max-prime=2000000 run

cpu測試主要是進行素數的加法運算，上面咱們的例子中，指定了最大的質數發生器數量爲 2000000，能夠看出服務器這次測試 執行時間 大約爲11.05秒

2.磁盤IO測試
sysbench --test=fileio --num-threads=16 --file-total-size=30G --file-test-mode=rndrw prepare
sysbench --test=fileio --num-threads=16 --file-total-size=30G --file-test-mode=rndrw run

能夠看到，磁盤的讀IOPS能夠達到68491.05,寫IOPS能夠達到45660.96，fsync能夠達到146103.57

3.線程測試
sysbench --test=threads --num-threads=64 --thread-yields=100 --thread-locks=2 run

(發送64次/個測試線程請求，每次/個線程請求產生/生成100個數量，每一個線程的鎖數量爲2) ，測試執行時間爲10秒

4.內存測試
sysbench --test=memory --memory-block-size=8k --memory-total-size=40G run

上述參數指定了本次測試整個過程是在內存中傳輸 40G 的數據量，每一個 block 大小爲 8K。測試結果顯示：
執行時間爲3.6323秒，每秒傳輸速度爲11276.59Mb每秒

5.OLTP測試
(1)100線程
數據準備：
sysbench /usr/local/share/sysbench/oltp_common.lua --mysql-user=tpcc --mysql-password=tpcc --mysql-socket=/tmp/mysql3306.sock --tables=10 --table_size=20000000 --threads=100 --max-requests=0 prepare
開始測試：
sysbench /usr/local/share/sysbench/oltp_read_write.lua --mysql-host=localhost --mysql-port=3306 --mysql-db=sbtest --mysql-user=tpcc --mysql-password=tpcc --table_size=20000000 --tables=10 --threads=100 --time=3600 --report-interval=10 --mysql-socket=/tmp/mysql3306.sock run > /tmp/40_100.log

6.增刪改查基準測試
（1）準備數據
##其中，執行模式爲complex，使用了10個表，每一個表有10萬條數據，客戶端的併發線程數爲10，執行時間爲120秒，每10秒生成一次報告。
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare
（2）執行測試

將測試結果導出到文件中，便於後續分析。
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /home/test/mysysbench.log
（3）清理數據

執行完測試後，清理數據，不然後面的測試會受到影響。
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 cleanup

測試結果分析：
SQL statistics:
##queries performed:  #性能統計
read:1994860   #總 select 數量
write: 0       #總update、insert、delete語句數量
other: 284980  #commit、unlock tables以及其餘mutex的數量
total: 2279840 #總的執行語句數
transactions:142490 (1186.20 per sec.)  #總的事物數（每秒處理事物數）|一般須要關注的數字(TPS)
queries: 2279840 (18979.13 per sec.)    #讀寫請求次數（每秒的讀寫次數）|一般須要關注的數字(QPS)
other operations: 9375 (156.13 per sec.)#其它操做的每秒執行數
ignored errors:0(0.00 per sec.)         #忽略的錯誤數
reconnects:0(0.00 per sec.)
##General statistics:
total time:120.1216s                    #即time指定的壓測總時間
total number of events:142490           #總的事件數,通常與transactions相同
total time taken by event execution: 600.0783s　　 #全部事務耗時相加(不考慮並行因素)
##response time:　　　　//應答時間
min:8.52
avg:107.84
max:480.08
95th percentile:170.48                  #95%的語句的平均響應時間
sum:15365843.76
##Threads fairness:
events (avg/stddev): 1113.2031/14.76
execution time (avg/stddev): 120.0457/0.04

咱們通常關注的指標主要有:

response time avg: 平均響應時間。(後面的95%的大小能夠經過–percentile=98的方式去更改)
transactions: 精確的說是這一項後面的TPS 。但若是使用了-skip-trx=on,這項事務數恆爲0,須要用total number of events 去除以總時間,獲得tps(其實還能夠分爲讀tps和寫tps)
queries: 用它除以總時間,獲得吞吐量QPS

 

參考： https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html https://www.jianshu.com/p/9823b4aa445a https://github.com/akopytov/sysbench https://help.aliyun.com/document_detail/53632.html?spm=a2c4g.11186623.6.788.MQgp4u