使用FIO測試磁盤iops

      咱們如何衡量一個存儲的性能呢？IOPS(Input/Output OperationsPer Second)，即每秒進行讀寫(I/O)操做的次數是國際上通用的存儲性能衡量標準，IOPS越高意味着在同一時間系統可以處理的用戶請求越多，可以承載用戶訪問壓力就越大，知足一樣性能需求的配置就越低，由此能夠爲客戶帶來更高的生產效率和價值。
      各存儲廠商增長被測產品IOPS值的辦法有兩個：儘可能使用小容量(如36GB、 73GB)、高轉速(15krpm)的磁盤，儘可能增長被測產品的磁盤數量,由於單塊磁盤的容量越小、轉速越高，其IOPS值越高，磁盤數量越多，經過RAID 0得到的IOPS值越高；儘可能選擇RAID 10設置，由於在各類RAID級別中，RAID 10的IOPS值最高。

-------------------------------------------------------------

FIO是測試IOPS的很是好的工具，用來對硬件進行壓力測試和驗證，支持13種不一樣的I/O引擎，

包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。 

fio 官網地址：http://freshmeat.net/projects/fio/ 

 

1、FIO安裝 

wget http://brick.kernel.dk/snaps/fio-2.1.7.tar.bz2

yum install libaio-devel 

tar -jxvf fio-2.1.7.tar.bz2 

cd fio-2.1.7 

./configure

make & make install 

 

fio工具支持多種類型的測試，而且參數很是多，能夠經過幫助文檔得到使用信息。如下內容簡單說明如何查看幫助文檔。

主要參數說明：

--help：得到幫助信息。

--cmdhelp：得到命令的幫助文檔。

--enghelp：得到引擎的幫助文檔。

--debug：經過debug方式查看測試的詳細信息。（process, file, io, mem, blktrace, verify, random, parse, diskutil, job, mutex, profile, time, net, rate）

--output：測試結果輸出到文件。

--output-format：設置輸出格式。（terse, json, normal）

--crctest：測試crc性能。（md5, crc64, crc32, crc32c, crc16, crc7, sha1, sha256, sha512, xxhash:）

--cpuclock-test       ：CPU始終測試。

 

2、隨機讀測試： 

隨機讀： 

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync  -bs=16k -size=200G -numjobs=10 -runtime=1000 -group_reporting -name=mytest

 

說明： 

filename=/dev/sdb1 測試文件名稱，一般選擇須要測試的盤的data目錄。 

direct=1 測試過程繞過機器自帶的buffer。使測試結果更真實

iodepth：設置IO隊列的深度

thread   fio使用線程而不是進程

rw=randread  測試隨機讀的I/O

ioengine=psync io引擎使用psync方式 

bs=16k 單次io的塊文件大小爲16k 

bsrange=512-2048 同上，提定數據塊的大小範圍 

size=200g 本次的測試文件大小爲200g，以每次4k的io進行測試

numjobs=10 本次的測試線程爲10

runtime=1000 測試時間爲1000秒，若是不寫則一直將5g文件分4k每次寫完爲止

group_reporting 關於顯示結果的，彙總每一個進程的信息

此外

rwmixwrite=30 在混合讀寫的模式下，寫佔30% 

lockmem=1g 只使用1g內存進行測試

zero_buffers 用0初始化系統buffer

nrfiles=8 每一個進程生成文件的數量

 

順序讀： 

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest 

隨機寫： 

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest 

順序寫： 

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest 

混合隨機讀寫： 

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop 

 

三，實際測試範例： 

測試結果顯示了詳細的系統信息，包括io、latency、bandwidth、cpu等信息，詳細以下所示：

[root@localhost ~]# fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest1 

 

mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1 

... 

mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1 

fio 2.0.7 

Starting 30 threads 

Jobs: 1 (f=1): [________________m_____________] [3.5% done] [6935K/3116K /s] [423 /190 iops] [eta 48m:20s] s] 

mytest1: (groupid=0, jobs=30): err= 0: pid=23802 

read : io(測試的數據量)=1853.4MB, bw(帶寬)=18967KB/s, iops=1185 , runt(總運行時間)=100058msec 

clat (usec): min=60 , max=871116 , avg=25227.91, stdev=31653.46 

lat (usec): min=60 , max=871117 , avg=25228.08, stdev=31653.46 

clat percentiles (msec): 

| 1.00th=[ 3], 5.00th=[ 5], 10.00th=[ 6], 20.00th=[ 8], 

| 30.00th=[ 10], 40.00th=[ 12], 50.00th=[ 15], 60.00th=[ 19], 

| 70.00th=[ 26], 80.00th=[ 37], 90.00th=[ 57], 95.00th=[ 79], 

| 99.00th=[ 151], 99.50th=[ 202], 99.90th=[ 338], 99.95th=[ 383], 

| 99.99th=[ 523] 

bw (KB/s) : min= 26, max= 1944, per=3.36%, avg=636.84, stdev=189.15 

write: io=803600KB, bw=8031.4KB/s, iops=501 , runt=100058msec 

clat (usec): min=52 , max=9302 , avg=146.25, stdev=299.17 

lat (usec): min=52 , max=9303 , avg=147.19, stdev=299.17 

clat percentiles (usec): 

| 1.00th=[ 62], 5.00th=[ 65], 10.00th=[ 68], 20.00th=[ 74], 

| 30.00th=[ 84], 40.00th=[ 87], 50.00th=[ 89], 60.00th=[ 90], 

| 70.00th=[ 92], 80.00th=[ 97], 90.00th=[ 120], 95.00th=[ 370], 

| 99.00th=[ 1688], 99.50th=[ 2128], 99.90th=[ 3088], 99.95th=[ 3696], 

| 99.99th=[ 5216] 

bw (KB/s) : min= 20, max= 1117, per=3.37%, avg=270.27, stdev=133.27 

lat (usec) : 100=24.32%, 250=3.83%, 500=0.33%, 750=0.28%, 1000=0.27% 

lat (msec) : 2=0.64%, 4=3.08%, 10=20.67%, 20=19.90%, 50=17.91% 

lat (msec) : 100=6.87%, 250=1.70%, 500=0.19%, 750=0.01%, 1000=0.01% 

cpu : usr=1.70%, sys=2.41%, ctx=5237835, majf=0, minf=6344162 

IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% 

　　submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% 

　　complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% 

　　issued : total=r=118612/w=50225/d=0, short=r=0/w=0/d=0 

Run status group 0 (all jobs): 

　　READ: io=1853.4MB, aggrb=18966KB/s, minb=18966KB/s, maxb=18966KB/s, mint=100058msec, maxt=100058msec 

　　WRITE: io=803600KB, aggrb=8031KB/s, minb=8031KB/s, maxb=8031KB/s, mint=100058msec, maxt=100058msec 

Disk stats (read/write): 

　　sdb: ios=118610/50224, merge=0/0, ticks=2991317/6860, in_queue=2998169, util=99.77% 

主要查看以上紅色字體部分的iops(read/write) 

 

 

 

**磁盤陣列吞吐量與IOPS兩大瓶頸分析**

 

一、吞吐量

 

　　吞吐量主要取決於陣列的構架，光纖通道的大小(如今陣列通常都是光纖陣列，至於SCSI這樣的SSA陣列，咱們不討論)以及硬盤的個數。陣列的構架與每一個陣列不一樣而不一樣，他們也都存在內部帶寬(相似於pc的系統總線)，不過通常狀況下，內部帶寬都設計的很充足，不是瓶頸的所在。

 

　　光纖通道的影響仍是比較大的，如數據倉庫環境中，對數據的流量要求很大，而一塊2Gb的光纖卡，所77能支撐的最大流量應當是2Gb/8(小B)=250MB/s(大B)的實際流量，當4塊光纖卡才能達到1GB/s的實際流量，因此數據倉庫環境能夠考慮換4Gb的光纖卡。

 

　　最後說一下硬盤的限制，這裏是最重要的，當前面的瓶頸再也不存在的時候，就要看硬盤的個數了，我下面列一下不一樣的硬盤所能支撐的流量大小：

 

　　10 K rpm 15 K rpm ATA

 

　　——— ——— ———

 

　　10M/s 13M/s 8M/s

 

　　那麼，假定一個陣列有120塊15K rpm的光纖硬盤，那麼硬盤上最大的能夠支撐的流量爲120*13=1560MB/s，若是是2Gb的光纖卡，可能須要6塊纔可以，而4Gb的光纖卡，3-4塊就夠了。

 

二、IOPS

 

　　決定IOPS的主要取決與陣列的算法，cache命中率，以及磁盤個數。陣列的算法由於不一樣的陣列不一樣而不一樣，如咱們最近遇到在hds usp上面，可能由於ldev(lun)存在隊列或者資源限制，而單個ldev的iops就上不去，因此，在使用這個存儲以前，有必要了解這個存儲的一些算法規則與限制。

 

　　cache的命中率取決於數據的分佈，cache size的大小，數據訪問的規則，以及cache的算法，若是完整的討論下來，這裏將變得很複雜，能夠有一天好討論了。我這裏只強調一個cache的命中率，若是一個陣列，讀cache的命中率越高越好，通常表示它能夠支持更多的IOPS，爲何這麼說呢?這個就與咱們下面要討論的硬盤IOPS有關係了。

 

　　硬盤的限制，每一個物理硬盤能處理的IOPS是有限制的，如

 

　　10 K rpm 15 K rpm ATA

 

　　——— ——— ———

 

　　100 150 50

 

　　一樣，若是一個陣列有120塊15K rpm的光纖硬盤，那麼，它能撐的最大IOPS爲120*150=18000，這個爲硬件限制的理論值，若是超過這個值，硬盤的響應可能會變的很是緩慢而不能正常提供業務。

 

　　在raid5與raid10上，讀iops沒有差異，可是，相同的業務寫iops，最終落在磁盤上的iops是有差異的，而咱們評估的卻正是磁盤的IOPS，若是達到了磁盤的限制，性能確定是上不去了。

 

　　那咱們假定一個case，業務的iops是10000，讀cache命中率是30%，讀iops爲60%，寫iops爲40%，磁盤個數爲120，那麼分別計算在raid5與raid10的狀況下，每一個磁盤的iops爲多少。

 

　　raid5:

 

　　單塊盤的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120

 

　　= (4200 + 16000)/120

 

　　= 168

 

　　這裏的10000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實際只有4200個iops

 

　　而4 * (10000*0.4) 表示寫的iops，由於每個寫，在raid5中，實際發生了4個io，因此寫的iops爲16000個

 

　　爲了考慮raid5在寫操做的時候，那2個讀操做也可能發生命中，因此更精確的計算爲：

 

　　單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120

 

　　= (4200 + 5600 + 8000)/120

 

　　= 148

 

　　計算出來單個盤的iops爲148個，基本達到磁盤極限

 

　　raid10

 

　　單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120

 

　　= (4200 + 8000)/120

 

　　= 102

 

　　能夠看到，由於raid10對於一個寫操做，只發生2次io，因此，一樣的壓力，一樣的磁盤，每一個盤的iops只有102個，還遠遠低於磁盤的極限iops。

 

　　在一個實際的case中，一個恢復壓力很大的standby(這裏主要是寫，並且是小io的寫)，採用了raid5的方案，發現性能不好，經過分析，每一個磁盤的iops在高峯時期，快達到200了，致使響應速度巨慢無比。後來改形成raid10，就避免了這個性能問題，每一個磁盤的iops降到100左右。