MySQL服務器基準測試

1、基準測試簡介

一、什麼是基準測試

數據庫的基準測試是對數據庫的性能指標進行定量的、可復現的、可對比的測試。

基準測試與壓力測試

基準測試能夠理解爲針對系統的一種壓力測試。但基準測試不關心業務邏輯，更加簡單、直接、易於測試，數據能夠由工具生成，不要求真實；而壓力測試通常考慮業務邏輯(如購物車業務)，要求真實的數據。

二、基準測試的做用

對於多數Web應用，整個系統的瓶頸在於數據庫；緣由很簡單：Web應用中的其餘因素，例如網絡帶寬、負載均衡節點、應用服務器（包括CPU、內存、硬盤燈、鏈接數等）、緩存，都很容易經過水平的擴展（俗稱加機器）來實現性能的提升。而對於MySQL，因爲數據一致性的要求，沒法經過增長機器來分散向數據庫寫數據帶來的壓力；雖然能夠經過前置緩存（Redis等）、讀寫分離、分庫分表來減輕壓力，可是與系統其它組件的水平擴展相比，受到了太多的限制。

而對數據庫的基準測試的做用，就是分析在當前的配置下（包括硬件配置、OS、數據庫設置等），數據庫的性能表現，從而找出MySQL的性能閾值，並根據實際系統的要求調整配置。

三、基準測試的指標

常見的數據庫指標包括：

• TPS/QPS：衡量吞吐量。
• 響應時間：包括平均響應時間、最小響應時間、最大響應時間、時間百分比等，其中時間百分比參考意義較大，如前95%的請求的最大響應時間。。
• 併發量：同時處理的查詢請求的數量。

四、基準測試的分類

對MySQL的基準測試，有以下兩種思路：

（1）針對整個系統的基準測試：經過http請求進行測試，如經過瀏覽器、APP或postman等測試工具。該方案的優勢是可以更好的針對整個系統，測試結果更加準確；缺點是設計複雜實現困難。

（2）只針對MySQL的基準測試：優勢和缺點與針對整個系統的測試剛好相反。

在針對MySQL進行基準測試時，通常使用專門的工具進行，例如mysqlslap、sysbench等。其中，sysbench比mysqlslap更通用、更強大，且更適合Innodb（由於模擬了許多Innodb的IO特性），下面介紹使用sysbench進行基準測試的方法。

2、sysbench

一、sysbench簡介

sysbench是跨平臺的基準測試工具，支持多線程，支持多種數據庫；主要包括如下幾種測試：

• cpu性能
• 磁盤io性能
• 調度程序性能
• 內存分配及傳輸速度
• POSIX線程性能
• 數據庫性能(OLTP基準測試)

本文主要介紹對數據庫性能的測試。

二、sysbench安裝

本文使用的環境時CentOS 6.5；在其餘Linux系統上的安裝方法大同小異。MySQL版本是5.6。

（1）下載解壓

wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
unzip sysbench-1.0.zip
cd sysbench-1.0

（2）安裝依賴

yum install automake libtool –y

 （3）安裝

安裝以前，確保位於以前解壓的sysbench目錄中。

./autogen.sh
./configure
export LD_LIBRARY_PATH=/usr/local/mysql/include #這裏換成機器中mysql路徑下的include
make
make install

（4）安裝成功

[root@test sysbench-1.0]# sysbench --version
sysbench 1.0.9

三、sysbench語法

執行sysbench –help，能夠看到sysbench的詳細使用方法。

sysbench的基本語法以下：

sysbench [options]... [testname] [command]

下面說明實際使用中，經常使用的參數和命令。

（1）command

command是sysbench要執行的命令，包括prepare、run和cleanup，顧名思義，prepare是爲測試提早準備數據，run是執行正式的測試，cleanup是在測試完成後對數據庫進行清理。

（2）testname

testname指定了要進行的測試，在老版本的sysbench中，能夠經過--test參數指定測試的腳本；而在新版本中，--test參數已經聲明爲廢棄，能夠不使用--test，而是直接指定腳本。

例如，以下兩種方法效果是同樣的：

sysbench --test=./tests/include/oltp_legacy/oltp.lua
sysbench ./tests/include/oltp_legacy/oltp.lua

測試時使用的腳本爲lua腳本，可使用sysbench自帶腳本，也能夠本身開發。對於大多數應用，使用sysbench自帶的腳本就足夠了。不一樣版本的sysbench中，lua腳本的位置可能不一樣，能夠本身在sysbench路徑下使用find命令搜索oltp.lua。P.S.：大多數數據服務都是oltp類型的，若是你不瞭解什麼是oltp，那麼大機率你的數據服務就是oltp類型的。

（3）options

sysbench的參數有不少，其中比較經常使用的包括：

MySQL鏈接信息參數

• --mysql-host：MySQL服務器主機名，默認localhost；若是在本機上使用localhost報錯，提示沒法鏈接MySQL服務器，改爲本機的IP地址應該就能夠了。
• --mysql-port：MySQL服務器端口，默認3306
• --mysql-user：用戶名
• --mysql-password：密碼

MySQL執行參數

• --oltp-test-mode：執行模式，包括simple、nontrx和complex，默認是complex。simple模式下只測試簡單的查詢；nontrx不只測試查詢，還測試插入更新等，可是不使用事務；complex模式下測試最全面，會測試增刪改查，並且會使用事務。能夠根據本身的須要選擇測試模式。
• --oltp-tables-count：測試的表數量，根據實際狀況選擇
• --oltp-table-size：測試的表的大小，根據實際狀況選擇
• --threads：客戶端的併發鏈接數
• --time：測試執行的時間，單位是秒，該值不要過短，能夠選擇120
• --report-interval：生成報告的時間間隔，單位是秒，如10

四、sysbench使用舉例

在執行sysbench時，應該注意：

（1）儘可能不要在MySQL服務器運行的機器上進行測試，一方面可能沒法體現網絡（哪怕是局域網）的影響，另外一方面，sysbench的運行（尤爲是設置的併發數較高時）會影響MySQL服務器的表現。

（2）能夠逐步增長客戶端的併發鏈接數（--thread參數），觀察在鏈接數不一樣狀況下，MySQL服務器的表現；如分別設置爲10,20,50,100等。

（3）通常執行模式選擇complex便可，若是須要特別測試服務器只讀性能，或不使用事務時的性能，能夠選擇simple模式或nontrx模式。

（4）若是連續進行屢次測試，注意確保以前測試的數據已經被清理乾淨。

下面是sysbench使用的一個例子：

（1）準備數據

單表： 
  # sysbench  
  --test=$SYSBENCH_HOME/sysbench/tests/db/oltp.lua  
  --mysql-user=$MYSQL_USER  
  --mysql-password=$MYSQL_PASSWORD 
  --mysql-host=$MYSQL_HOST 
  --mysql-port=$MYSQL_PORT 
  --mysql-socket=$MYSQL_SOCKET 
  --mysql-table-engine=$MYSQL_TABLE_ENGINE //表引擎，建議值innodb 
  --oltp-table-count=1 //表數 
  --oltp-table-size=N //表大小，建議值2000W 
  --num-threads=$NUM_THREADS //線程數，建議值$MAX_CORE_NUM/2 
注:  $MAX_CORE_NUM：$(grep "processor" /proc/cpuinfo | wc -l)

多表： 
  # sysbench 
  --test=$SYSBENCH_HOME/sysbench/tests/db/oltp.lua  
  --mysql-user=$MYSQL_USER  
  --mysql-password=$MYSQL_PASSWORD 
  --mysql-host=$MYSQL_HOST 
  --mysql-port=$MYSQL_PORT 
  --mysql-socket=$MYSQL_SOCKET 
  --mysql-table-engine=$MYSQL_TABLE_ENGINE //表引擎，建議值innodb 
  --oltp-table-count=N //表數，建議值爲32~256，步長2n 
  --oltp-table-size=N //表大小，建議值2億
   --num-threads=$NUM_THREADS //線程數，建議值$MAX_CORE_NUM/2 

如：

sysbench --test=oltp --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare

注：sysbench 0.5及之後版本已取消OLTP模塊，開始使用Lua腳本，Lua腳本的位置默認在$SYSBENCH_HOME/sysbench/tests/db/xxx.lua

其中，執行模式爲complex，使用了10個表，每一個表有10萬條數據，客戶端的併發線程數爲10，執行時間爲120秒，每10秒生成一次報告。

 

（2）執行測試

測試用例1 單表OLTP -> 只讀測試

# sysbench  
 --test=$SYSBENCH_HOME/sysbench/tests/db/oltp.lua
 --mysql-user=$MYSQL_USER
  --mysql-password=$MYSQL_PASSWORD
  --mysql-host=$MYSQL_HOST 
  --mysql-port=$MYSQL_PORT 
  --mysql-socket=$MYSQL_SOCKET 
  --mysql-db=$MYSQL_DB 
  --oltp-read-only=$OLTP_READ_ONLY 
  --max-requests=$MAX_REQUESTS 
  --num-threads=$NUM_THREADS 
  --oltp-dist-type=$OLTP_DIST_TYPE 
  --report-interval=$REPORT_INTERVAL  run  

測試參數： 
--mysql-db=STRING //測試庫，默認值sbtest 
--oltp-read-only //是否開啓只讀 
--max-requests=N //請求數，建議值50W 
--num-threads=N //線程數，建議值16~$MYSQL_THREAD_CACHE_SIZE ，步長2n 
--oltp-dist-type=STRING //oltp測試數據分佈類型，建議值uniform 
 
 注：--oltp-read-only參數不要跟STRING值。默認爲OFF。若是添加STRING值會出現重複鍵錯誤

 測試用例2：單表OLTP -> 混合讀寫測試

# sysbench  
--test=$SYSBENCH_HOME/sysbench/tests/db/oltp.lua 
--mysql-user=$MYSQL_USER  
--mysql-password=$MYSQL_PASSWORD 
 --mysql-host=$MYSQL_HOST 
--mysql-port=$MYSQL_PORT 
--mysql-socket=$MYSQL_SOCKET 
--mysql-db=$MYSQL_DB 
--max-requests=$MAX_REQUESTS 
--num-threads=$NUM_THREADS 
--oltp-dist-type=$OLTP_DIST_TYPE 
 --report-interval=$REPORT_INTERVAL  run 

測試參數： 
--mysql-db=STRING //測試庫，默認值sbtest 
--max-requests=N //請求數，建議值50W 
--num-threads=N //線程數，建議值16~$MYSQL_THREAD_CACHE_SIZE ，步長2n 
--oltp-dist-type=STRING //oltp測試數據分佈類型，建議值uniform 

將測試結果導出到文件中，便於後續分析。

sysbench --test=oltp --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /home/test/mysysbench.log

（3）清理數據

執行完測試後，清理數據，不然後面的測試會受到影響。

sysbench --test=oltp --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 cleanup

五、測試結果

測試結束後，查看輸出文件，以下所示：

其中，對於咱們比較重要的信息包括：

queries：查詢總數及qps

transactions：事務總數及tps

Latency-95th percentile：前95%的請求的最大響應時間，本例中是344毫秒，這個延遲很是大，是由於我用的MySQL服務器性能不好；在正式環境中這個數值是絕對不能接受的。

3、建議

下面是使用sysbench的一些建議。

一、在開始測試以前，應該首先明確：應採用針對整個系統的基準測試，仍是針對MySQL的基準測試，仍是兩者都須要。

二、若是須要針對MySQL的基準測試，那麼還須要明確精度方面的要求：是否須要使用生產環境的真實數據，仍是使用工具生成也能夠；前者實施起來更加繁瑣。若是要使用真實數據，儘可能使用所有數據，而不是部分數據。

三、基準測試要進行屢次纔有意義。

四、測試時須要注意主從同步的狀態。

五、測試必須模擬多線程的狀況，單線程狀況不但沒法模擬真實的效率，也沒法模擬阻塞甚至死鎖狀況。

 

參考文獻：

https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html