sysbench 0.5使用手冊

注意：本文剛開始只介紹了sysbench 0.5以前的版本，在瞭解了sysbench 0.5以後進行了補充，大部分測試和參數都是同樣的，只是sysbench 0.5 在測試數據庫方面更加全面豐富。

關注sysbench 0.5 oltp 測試的，能夠直接調到最後sysbench 0.5部分。

1. sysbench 介紹

sysbench是一個模塊化的、跨平臺、多線程基準測試工具，主要用於評估測試各類不一樣系統參數 下的數據庫負載狀況。關於這個項目的詳細介紹請看：http://sysbench.sourceforge.net。

它主要包括如下幾種方式的測試：

1. cpu性能
2. 磁盤io性能
3. 調度程序性能
4. 內存分配及傳輸速度
5. POSIX線程性能
6. 數據庫性能(OLTP基準測試)

目前sysbench主要支持MySQL，Pgsql和Oracle這3種數據庫。

2. 安裝sysbench

基於Debain的操做系統，能夠直接安裝：

sudo apt-get install sysbench

也能夠下載源碼，而後本身編譯安裝。

項目主頁：http://sysbench.sourceforge.net/
下載地址：http://sourceforge.net/projects/sysbench
文檔地址：http://sysbench.sourceforge.net/docs

3. 開始測試

3.1 CPU性能測試

根據官網的介紹可知：CPU測試使用64位整數，測試計算素數直到某個最大值所須要的時間。

sysbench --test=cpu --cpu-max-prime=20000 run

輸出以下：

Maximum prime number checked in CPU test: 200000 Test execution summary: total time: 286.5703s total number of events: 10000 total time taken by event execution: 285197.4463 per-request statistics: min: 109.67ms avg: 28519.74ms max: 36760.02ms approx. 95 percentile: 31751.56ms Threads fairness: events (avg/stddev): 9.7656/0.81 execution time (avg/stddev): 278.5131/6.05

咱們只須要關心測試的總時間(total time)便可。

CPU性能測試有一個須要注意的地方，上面的測試只使用了一個線程，若是在兩個cpu processor不一樣的電腦上作比較，這是不公平的。公平的作法是指定合理的線程數，以下所示：

sysbench --test=cpu --num-threads=`grep "processor" /proc/cpuinfo | wc -l` \ --cpu-max-prime=200000 run

補充知識：

查看CPU核數的方法

1. 查看物理cpu個數

    grep "physical id" /proc/cpuinfo | sort -u | wc -l

2. 查看核心數量

    grep "core id" /proc/cpuinfo | sort -u | wc -l

3. 查看線程數量

    grep "processor" /proc/cpuinfo | sort -u | wc -l

在sysbench的測試中，--num-threads取值爲"線程數量"便可，再大的值沒有什麼意義，對測試結果也沒有什麼影響。

3.2 線程(thread)測試

測試線程調度器的性能。對於高負載狀況下測試線程調度器的行爲很是有用。

sysbench --test=threads --num-threads=64 run 

下面是輸出結果：

Number of threads: 64 Doing thread subsystem performance test Thread yields per test: 1000 Locks used: 8 Threads started! Done. Test execution summary: total time: 4.5845s total number of events: 10000 total time taken by event execution: 291.9995 per-request statistics: min: 0.76ms avg: 29.20ms max: 152.71ms approx. 95 percentile: 71.11ms Threads fairness: events (avg/stddev): 156.2500/5.81 execution time (avg/stddev): 4.5625/0.02

說實話，我也不怎麼會分析這個測試結果，網上搜了半天也沒有搜到，幾乎全部的資料都是簡單的羅列出測試結果， 也不告訴咱們應該怎麼分析，實在是太不照顧新手了。 我本身是經過（total time:）判斷線程調度的性能的，下面是我在服務器上運行這個測試的輸出：

Number of threads: 64 Doing thread subsystem performance test Thread yields per test: 1000 Locks used: 8 Threads started! Done. Test execution summary: total time: 2.4829s total number of events: 10000 total time taken by event execution: 157.3468 per-request statistics: min: 0.21ms avg: 15.73ms max: 166.69ms approx. 95 percentile: 119.14ms Threads fairness: events (avg/stddev): 156.2500/22.25 execution time (avg/stddev): 2.4585/0.02

能夠看到total time 比在我本身電腦上少了一半，服務器的線程調度確定比普通電腦快多了。

3.3 互斥鎖(mutex)

測試互斥鎖的性能，方式是模擬全部線程在同一時刻併發運行，並都短暫請求互斥鎖。

sysbench --test=mutex --num-threads=16 --mutex-num=2048 \ --mutex-locks=1000000 --mutex-loops=5000 run

輸出結果以下：

Number of threads: 16 Doing mutex performance test Threads started! Done. Test execution summary: total time: 3.6123s total number of events: 16 total time taken by event execution: 57.6636 per-request statistics: min: 3580.79ms avg: 3603.98ms max: 3610.94ms approx. 95 percentile: 10000000.00ms Threads fairness: events (avg/stddev): 1.0000/0.00 execution time (avg/stddev): 3.6040/0.01

爲了避免誤導別人，我就不解釋各參數的含義了，能夠請參考這裏。

3.4 內存測試

內存測試測試了內存的連續讀寫性能。

sysbench --test=memory --memory-block-size=8K --memory-total-size=2G --num-threads=16 run

上面這條語句指定了整個測試過程當中，傳輸2G的數據量，每一個block的大小爲8K(大寫的K)。 測試結果以下所示，咱們最關心的是吞吐量(8030.45MB/sec)，和後面的磁盤io 測試結果比較可知，內存的連續讀寫比磁盤的連續讀寫快十幾倍。

Number of threads: 16 Doing memory operations speed test Memory block size: 8K Memory transfer size: 2048M Memory operations type: write Memory scope type: global Threads started! Done. Operations performed: 262144 (1027897.89 ops/sec) 2048.00 MB transferred (8030.45 MB/sec) Test execution summary: total time: 0.2550s total number of events: 262144 total time taken by event execution: 3.1911 per-request statistics: min: 0.00ms avg: 0.01ms max: 29.55ms approx. 95 percentile: 0.00ms Threads fairness: events (avg/stddev): 16384.0000/926.14 execution time (avg/stddev): 0.1994/0.02

3.5 文件IO基準測試

文件IO(fileio)基準測試能夠測試系統在不一樣IO負載下的性能。這對於比較不一樣的硬盤驅動器，不一樣的RAID 卡，不一樣的RAID 模式，都頗有幫助。能夠根據測試結果調整IO子系統。文件IO基準測試模擬了不少InnoDB 的IO特性。

測試的第一步是準備(Prepare)階段，生成測試用到的數據文件，生成的數據文件至少要比內存大。 若是文件中的數據能徹底放入內存中，則操做系統 緩存大部分的數據，致使測試結果沒法體現IO密集型的工做負載。首先經過下面的命令建立一個數據集：

sysbench --test=fileio --file-total-size=40G prepare

這個命令會在當前工做目錄下建立測試文件，後續的運行(run)階段將經過讀寫這些文件進行測試。 第二步就是運行(run)階段，針對不一樣的IO 類型有不一樣的測試選項：

• seqwr 順序寫入
• seqrewr 順序重寫
• seqrd 順序讀取
• rndrd 隨機讀取
• rndwr 隨機寫入
• rndrw 混合隨機讀/寫

下面的命令運行文件I/O混合隨機讀/寫基準測試：

sysbench --test=fileio --file-total-size=40G --file-test-mode=rndrw\ --init-rng=on --max-time=300 --max-requests=0 run

結果以下：

Extra file open flags: 0 128 files, 240Mb each 30Gb total file size Block size 16Kb Number of random requests for random IO: 0 Read/Write ratio for combined random IO test: 1.50 Periodic FSYNC enabled, calling fsync() each 100 requests. Calling fsync() at the end of test, Enabled. Using synchronous I/O mode Doing random r/w test Threads started! Time limit exceeded, exiting... Done. Operations performed: 15900 Read, 10600 Write, 33842 Other = 60342 Total Read 248.44Mb Written 165.62Mb Total transferred 414.06Mb (1.3802Mb/sec) 88.33 Requests/sec executed Test execution summary: total time: 300.0074s total number of events: 26500 total time taken by event execution: 164.1563 per-request statistics: min: 0.01ms avg: 6.19ms max: 315.51ms approx. 95 percentile: 15.83ms Threads fairness: events (avg/stddev): 26500.0000/0.00 execution time (avg/stddev): 164.1563/0.00

輸出結果中包含了大量的信息。和IO子系統密切相關的包括每秒請求數和總吞吐量。在上述例子中， 每秒請求數是88.33 Requests/sec ， 吞吐量是1.3802Mb/sec 。另外，時間信息也很是有用， 尤爲是大約95%的時間分佈。這些數據對於評估磁盤性能十分有用。

測試完成之後，運行清除(cleanup)操做刪除第一步生成的測試文件。

sysbench --test=fileio --fil-total-size=30G cleanup

3.6 oltp

下面來看最重要也是最複雜的測試————oltp。oltp 基準測試模擬了一個簡單的事物處理系統的工做負載。 下面的例子使用的是一張超過百萬行記錄的表，第一步是先生成這張表：

sysbench --test=oltp --oltp-table-size=1000000 --mysql-db=test \ --mysql-user=root prepare

生成數據只須要上面這條簡單的命令便可。這條命令在test 數據庫中新建了一個表(sbtest)，並在表中插入了1000000條記錄。

對於非默認安裝的mysql，須要指定鏈接到msyql服務器的socket(my.cnf中的socket值)，以下所示：

sysbench --test=oltp --oltp-table-size=1000000 --mysql-user=root \ --mysql-db=test --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \ prepare

數據加載完成之後就能夠開始測試了，這個例子採用了16個線程，測試時長爲720秒：

sysbench --test=oltp --oltp-table-size=1000000 --mysql-db=test \ --mysql-user=root --max-time=720 --max-requests=0 \ --num-threads=16 --oltp-test-mode=complex run

與插入記錄時同樣，若是mysql是非默認安裝，還須要指定--mysql-socket的值。

Number of threads: 16 Doing OLTP test. Running mixed OLTP test Using Special distribution (12 iterations, 1 pct of values are returned in 75 pct cases) Using "BEGIN" for starting transactions Using auto_inc on the id column Threads started! Time limit exceeded, exiting... (last message repeated 15 times) Done. OLTP test statistics: queries performed: read: 26225724 write: 9366330 other: 3746532 total: 39338586 transactions: 1873266 (2601.71 per sec.) deadlocks: 0 (0.00 per sec.) read/write requests: 35592054 (49432.47 per sec.) other operations: 3746532 (5203.42 per sec.) Test execution summary: total time: 720.0136s total number of events: 1873266 total time taken by event execution: 11506.8251 per-request statistics: min: 2.37ms avg: 6.14ms max: 400.48ms approx. 95 percentile: 14.90ms Threads fairness: events (avg/stddev): 117079.1250/275.62 execution time (avg/stddev): 719.1766/0.01

如上所示，結果中包含了至關多的信息。其中最有價值的信息以下；

• 總的事務數
• 每秒事務數
• 時間統計信息（最小，平均，最大響應時間，以及95%百分比響應時間）
• 線程公平性統計信息

最最重要的固然是每秒事務數(2601.71 per sec.)。

oltp 測試注意事項：

1. --max-requests --max-requests 默認值爲10000 ，若是設置了--max-requests 或者使用默認值 ，分析結果的時候主要查看運行時間(total time)，通常狀況下，都將--max-requests 賦值爲0 ，即不限制請求數量，經過--max-time 來指定測試時長，而後查看系統的每秒事務數。

2. --oltp-test-mode

   --oltp-test-mode用以指定測試模式，取值有(simeple,complex,nontrx)，默認是complex。不一樣模式會執行不一樣的語句。 具體執行語句以下所示：

   1. Simple 這種模式只是簡單的執行selec語句。

       SELECT c FROM sbtest WHERE id=N 

   2. complex(Advanced transactional) 在事務中，可能包含下列語句。

      • Point queries:

         SELECT c FROM sbtest WHERE id=N

      • Range queries:

         SELECT c FROM sbtest WHERE id BETWEEN N AND M 

      • Range SUM() queries:

         SELECT SUM(K) FROM sbtest WHERE id BETWEEN N and M

      • Range ORDER BY queries:

         SELECT c FROM sbtest WHERE id between N and M ORDER BY c

      • Range DISTINCT queries:

         SELECT DISTINCT c FROM sbtest WHERE id BETWEEN N and M ORDER BY c

      • UPDATEs on index column:

         UPDATE sbtest SET k=k+1 WHERE id=N 

      • UPDATEs on non-index column:

         UPDATE sbtest SET c=N WHERE id=M 

      • DELETE queries:

         DELETE FROM sbtest WHERE id=N 

      • INSERT queries:

         INSERT INTO sbtest VALUES (...)

   3. nontrx(Non-transactional) 這種模式包含下列SQL語句。

      • Point queries:

         SELECT pad FROM sbtest WHERE id=N

      • UPDATEs on index column:

         UPDATE sbtest SET k=k+1 WHERE id=N

      • UPDATEs on non-index column:

         UPDATE sbtest SET c=N WHERE id=M

      • DELETE queries:

         DELETE FROM sbtest WHERE id=N

      • INSERT queries:

         INSERT INTO sbtest (k, c, pad) VALUES(N, M, S)

3. simple 與 --oltp-read-only 的區別

   simple模式和在complex模式下開啓read-only選項都只包含select語句。可是 simple 模式只包含最簡單的select語句，相反地，complex 模式中，若是咱們開啓read-only 選項，即--oltp-read-only=on，則會包含複雜的SQL語句。如：

    SELECT SUM(K) FROM sbtest WHERE id BETWEEN N and M SELECT DISTINCT c FROM sbtest WHERE id BETWEEN N and M ORDER BY c

4. 測試自有的存儲引擎

   測試自有的存儲引擎須要告訴sysbench，這個存儲引擎是否支持事務。

   以下所示：

   • 準備

      sysbench --test=oltp --mysql-table-engine=tnt --mysql-engine-trx=yes \ --oltp-table-size=100000 --mysql-user=root --mysql-db=test \ --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \ prepare

   • 測試

      sysbench --test=oltp --mysql-table-engine=tnt --mysql-engine-trx=yes \ --oltp-table-size=100000 --mysql-user=root --mysql-db=test \ --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \ --oltp-test-mode=complex --num-threads=16 --max-time=720 \ --max-requests=0 run

   • 清除

      sysbench --test=oltp --mysql-table-engine=tnt --mysql-engine-trx=yes \ --oltp-table-size=100000 --mysql-user=root --mysql-db=test \ --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \ clean

4. sysbench 0.5

4.1 下載安裝

1. 下載

    bzr branch lp:sysbench

2. 安裝依賴庫

    sudo apt-get installlibtool

3. 安裝

    tar -zxvf sysbench.tar.gz cd sysbench ./autogen.sh ./configure make #make install #可選

4. 開始測試

    cd sysbench/sysbench ./sysbench --test=./tests/db/oltp.lua --debug=yes \ --mysql-host=localhost \ --mysql-socket=PATH/mysqld.sock \ --mysql-db=test \ --mysql-table-engine=innodb \ --mysql-engine-trx=yes \ --mysql-user=root \ --max-requests=0 \ --max-time=60 \ --num-threads=16 \ --oltp-table-size=100000 \ --report-interval=10 [prepare|run|cleanup]

5. 解釋

   • --debug 參數用以打印更加詳細的調試信息
   • --report-interval 用以打印中間結果
   • 除了測試oltp，sysbench 0.5還能夠進行插入操做的性能測試(insert.lua)，選擇操做的性能測試(select.lua)等。

參考資料

1. 《高性能MySql》
2. 《sysbench的安裝和作性能測試》