【系統監控】性能監測 vmstat,mpstat,iostat

1、系統總體性能監測工具：uptime

[root@WebServer ~]# uptime （同w命令輸出的第一行信息）
09:40:52 up 5 days, 57 min, 1 user, load average: 0.00, 0.00, 0.00

uptime命令用於查看服務器運行了多長時間以及有多少個用戶登陸，快速獲知服務器運行的負載狀況。
load average，顯示了最近1，5，15分鐘的負荷狀況。
它的值表明等待CPU處理的進程數，若是CPU沒有時間處理這些進程，load average值會升高；反之則會下降。
在CPU數量不一樣的狀況下，值有所不一樣。

2、CPU監測：mpstat （請參考MAN手冊）

mpstat 1  111  [1秒刷新，111次]


語法：mpstat [ options... ] [ <interval> [ <count> ] ]
[root@WebServer ~]# mpstat 1
Linux 2.6.9-89.ELsmp (WebServer) 08/18/09

10:08:25 CPU %user %nice %system %iowait %irq %soft %idle intr/s
10:08:26 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1005.00
10:08:27 all 0.00 0.00 0.00 0.12 0.00 0.00 99.88 1031.00
10:08:28 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1009.00
10:08:29 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1030.00
10:08:30 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1006.00

• 1.CPU （處理器編號，all表示全部處理器的平均數值）
  Processor number. The keyword all indicates that statistics are calculated as averages among all processors.

• 2.%user （用戶態的CPU利用率百分比）
  Show the percentage of CPU utilization that occurred while executing at the user level (application).

• 3.%nice （用戶態的優先級別CPU的利用率百分比）
  Show the percentage of CPU utilization that occurred while executing at the user level with nice priority.

• 4.%system （內核態的CPU利用率百分比）
  Show the percentage of CPU utilization that occurred while executing at the system level (kernel). Note that
  this does not include the time spent servicing interrupts or softirqs.

• 5.%iowait （在interval間段內io的等待百分比，interval 爲採樣頻率，如本文的1爲每一秒鐘採樣一次）
  Show the percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.

• 6.%irq （在interval間段內,CPU的中斷百分比）
  Show the percentage of time spent by the CPU or CPUs to service interrupts.

• 7.%soft （在interval間段內,CPU的軟中斷百分比）
  Show the percentage of time spent by the CPU or CPUs to service softirqs. A softirq (software interrupt) is
  one of up to 32 enumerated software interrupts which can run on multiple CPUs at once.

• 8.%idle （在interval間段內，CPU的閒置百分比，不包括I/O請求的等待）
  Show the percentage of time that the CPU or CPUs were idle and the system did not have an outstanding
  disk I/O request.

• 9.intr/s （在interval間段內全部的CPU每秒中斷數）
  Show the total number of interrupts received per second by the CPU or CPUs.

3、內存監測：vmstat （請參考MAN手冊）

vmstat是一個很全面的性能分析工具，能夠觀察到系統的進程狀態、內存使用、虛擬內存使用、磁盤的IO、中斷、上下文切換、CPU使用等。對於 Linux 的性能分析，100%理解 vmstat 輸出內容的含義，並能靈活應用，那對系統性能分析的能力就算是基本掌握了。

下面是vmstat命令的輸出結果：

[root@monitor-www ~]# vmstat 1 5
procs — ———–memory——————–swap——io—– —-system— —–cpu—
r  b  swpd       free     buff      cache  si so  bi    bo       in    cs   us sy  id wa st
1 0 84780 909744 267428 1912076  0 0  20   94      0        0     2  1  95  1 0
1 2 84780 894968 267428 1912216  0 0   0 1396   2301 11337  8  3  89  0 0
1 0 84780 900680 267428 1912340  0 0 76 1428  1854 8082     7  2  90  0 0
1 0 84780 902544 267432 1912548  0 0 116 928  1655 7502    7  2  92   0 0
2 0 84780 900076 267432 1912948  0 0 180 904 1963 8703    10  3  87  0 0

對輸出解釋以下：

1）procs
a.r 列表示運行和等待CPU時間片的進程數，這個值若是長期大於系統CPU個數，就說明CPU資源不足，能夠考慮增長CPU；

b.b列表示在等待資源的進程數，好比正在等待I/O或者內存交換等。

2）memory

a.swp 列表示切換到內存交換區的內存數量（以KB爲單位）。若是swp的值不爲0或者比較大，並且si、so的值長期爲0，那麼這種狀況通常不用擔憂，不會影響系統性能；

b.free列表示當前空閒的物理內存數量（以KB爲單位）；

c. buff列表示buffers cache的內存數量，通常對塊設備的讀寫才須要緩衝；

d. cache列表示page cached的內存數量，通常做文件系統的cached，頻繁訪問的文件都會被cached。若是cached值較大，就說明cached文件數較多。若是此時IO中的bi比較小，就說明文件系統效率比較好。

3）swap

a.si列表示由磁盤調入內存 ，也就是內存進入內存交換區的數量；

b.so 列表示由內存調入磁盤 ，也就是內存交換區進入內存的數量

c.通常狀況下，si、so的值都爲0，若是si、so的值長期不爲0，則表示系統內存不足，須要考慮是否增長系統內存 。

4）IO

a.bi列表示從塊設備讀入的數據總量（即讀磁盤，單位KB/秒）

b.bo列表示寫入到塊設備的數據總量（即寫磁盤，單位KB/秒）
這裏設置的bi+bo參考值爲1000，若是超過1000，並且wa值比較大，則表示系統磁盤IO性能瓶頸。

5）system

a.in列表示在某一時間間隔中觀察到的每秒設備中斷數；

b.cs列表示每秒產生的上下文切換次數。
上面這兩個值越大，會看到內核消耗的CPU時間就越多。

6）CPU

a.us列顯示了用戶進程消耗CPU的時間百分比。us的值比較高時，說明用戶進程消耗的CPU時間多，若是長期大於50%，須要考慮優化程序啥的。

b.sy列顯示了內核進程消耗CPU的時間百分比。sy的值比較高時，就說明內核消耗的CPU時間多；若是us+sy超過80%，就說明CPU的資源存在不足。

c.id列顯示了CPU處在空閒狀態的時間百分比；

d.wa列表示IO等待所佔的CPU時間百分比。wa值越高，說明IO等待越嚴重。若是wa值超過20%，說明IO等待嚴重 。

e.st列通常不關注，虛擬機佔用的時間百分比。 （Linux 2.6.11）

4、磁盤io性能監測: iostat

iostat 吞吐量

# iostat -x   1

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                    24.13    0.00    8.22       2.50         0.00   65.15

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda              17.51   107.98    9.98   14.52   250.06   980.07    50.20     3.23  131.70   2.53   6.19

參數 -d 表示，顯示設備（磁盤）使用狀態；

-k 某些使用block爲單位的列強制使用Kilobytes爲單位；

1 10表示，數據顯示每隔1秒刷新一次，共顯示10次。

tin 顯示了系統爲全部 tty 讀取的字符總數。

tout 顯示了系統爲全部 tty 寫入的字符總數。

% user 顯示了在用戶級（應用程序）執行時產生的 CPU 使用率百分比。

% sys 顯示了在系統級（內核）執行時產生的 CPU 使用率百分比。

% idle 顯示了在 CPU 空閒而且系統沒有未完成的磁盤 I/O 請求時的時間百分比。

% iowait 顯示了 CPU 空閒期間系統有未完成的磁盤 I/O 請求時的時間百分比。

rrqm/s: 每秒進行 merge 的讀操做數目.即 delta(rmerge)/s

wrqm/s: 每秒進行 merge 的寫操做數目.即 delta(wmerge)/s

r/s: 每秒完成的讀 I/O 設備次數.即 delta(rio)/s

w/s : 每秒完成的寫 I/O 設備次數.即 delta(wio)/s

rsec/s: 每秒讀扇區數.即 delta(rsect)/s

wsec/s: 每秒寫扇區數.即 delta(wsect)/s

rkB/s: 每秒讀K字節數.是 rsect/s 的一半,由於每扇區大小爲512字節.(須要計算)

wkB/s: 每秒寫K字節數.是 wsect/s 的一半.(須要計算)

avgrq-sz: 平均每次設備I/O操做的數據大小 (扇區).delta(rsect+wsect)/delta(rio+wio)

avgqu-sz : 平均I/O隊列長度.即 delta(aveq)/s/1000 (由於aveq的單位爲毫秒).

await: 平均每次設備I/O操做的等待時間 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)

svctm: 平均每次設備I/O操做的服務時間 (毫秒).即 delta(use)/delta(rio+wio)

%util : 一秒中有百分之多少的時間用於 I/O 操做,或者說一秒中有多少時間 I/O 隊列是非空的.即 delta(use)/s/1000 (由於use的單位爲毫秒)

若是 %util 接近 100%,說明產生的I/O請求太多,I/O系統已經滿負荷,該磁盤可能存在瓶頸.

idle小於70% IO壓力就較大了,通常讀取速度有較多的wait. 同時能夠結合vmstat 查看查看b參數(等待資源的進程數) 和wa參數(IO等待所佔用的CPU時間的百分比,高過30%時IO壓力高)

另外 await 的參數也要多和 svctm 來參考.差的太高就必定有 IO 的問題.
avgqu-sz 也是個作 IO

調優時須要注意的地方,這個就是直接每次操做的數據的大小,若是次數多,但數據拿的小的話,其實 IO 也會很小.若是數據拿的大,才IO 的數據會高.也能夠經過 avgqu-sz × ( r/s or w/s ) = rsec/s or wsec/s.也就是講,讀定速度是這個來決定的.

Linux系統出現了性能問題，通常咱們能夠經過top、iostat、free、vmstat等命令來查看初步定位問題。其中iostat能夠給咱們提供豐富的IO狀態數據。

1. 基本使用

$iostat -d -k 1 10

參數 -d 表示，顯示設備（磁盤）使用狀態；-k某些使用block爲單位的列強制使用Kilobytes爲單位；1 10表示，數據顯示每隔1秒刷新一次，共顯示10次。

$iostat -d -k 1 10

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 39.29 21.14 1.44 441339807 29990031

sda1 0.00 0.00 0.00 1623 523

sda2 1.32 1.43 4.54 29834273 94827104

sda3 6.30 0.85 24.95 17816289 520725244

sda5 0.85 0.46 3.40 9543503 70970116

sda6 0.00 0.00 0.00 550 236

sda7 0.00 0.00 0.00 406 0

sda8 0.00 0.00 0.00 406 0

sda9 0.00 0.00 0.00 406 0

sda10 60.68 18.35 71.43 383002263 1490928140

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 327.55 5159.18 102.04 5056 100 sda1 0.00 0.00 0.00 0 0

tps：該設備每秒的傳輸次數（Indicate the number of transfers per second that were issued to the device.）。「一次傳輸」意思是「一次I/O請求」。多個邏輯請求可能會被合併爲「一次I/O請求」。「一次傳輸」請求的大小是未知的。

kB_read/s：每秒從設備（drive expressed）讀取的數據量；

kB_wrtn/s：每秒向設備（drive expressed）寫入的數據量；

kB_read：讀取的總數據量；

kB_wrtn：寫入的總數量數據量；

這些單位都爲Kilobytes。

上面的例子中，咱們能夠看到磁盤sda以及它的各個分區的統計數據，當時統計的磁盤總TPS是39.29，下面是各個分區的TPS。（由於是瞬間值，因此總TPS並不嚴格等於各個分區TPS的總和）

2.-x 參數

使用-x參數咱們能夠得到更多統計信息。

iostat -d -x -k 1 10

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

sda 1.56 28.31 7.80 31.49 42.51 2.92 21.26 1.46 1.16 0.03 0.79 2.62 10.28

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

sda 2.00 20.00 381.00 7.00 12320.00 216.00 6160.00 108.00 32.31 1.75 4.50 2.17 84.20

rrqm/s：每秒這個設備相關的讀取請求有多少被Merge了（當系統調用須要讀取數據的時候，VFS將請求發到各個FS，若是FS發現不一樣的讀取請求讀取的是相同Block的數據，FS會將這個請求合併Merge）；wrqm/s：每秒這個設備相關的寫入請求有多少被Merge了。

rsec/s：每秒讀取的扇區數；wsec/：每秒寫入的扇區數。r/s：The number of read requests that were issued to the device per second；w/s：The number of write requests that were issued to the device per second；

await：每個IO請求的處理的平均時間（單位是微秒毫秒）。這裏能夠理解爲IO的響應時間，通常地系統IO響應時間應該低於5ms，若是大於10ms就比較大了。

%util：在統計時間內全部處理IO時間，除以總共統計時間。例如，若是統計間隔1秒，該設備有0.8秒在處理IO，而0.2秒閒置，那麼該設備的%util = 0.8/1 = 80%，因此該參數暗示了設備的繁忙程度。通常地，若是該參數是100%表示設備已經接近滿負荷運行了 （固然若是是多磁盤，即便%util是100%，由於磁盤的併發能力，因此磁盤使用未必就到了瓶頸）。

3.-c 參數

iostat還能夠用來獲取cpu部分狀態值：

iostat -c 1 10

avg-cpu: %user %nice %sys %iowait %idle 1.98 0.00 0.35 11.45 86.22

avg-cpu: %user %nice %sys %iowait %idle 1.62 0.00 0.25 34.46 63.67

4.常見用法

$iostat -d -k 1 10 
#查看TPS和吞吐量信息 iostat -d -x -k 1 10 #查看設備使用率（%util）、響應時間（await） 
iostat -c 1 10 #查看cpu狀態

5.實例分析

$iostat -d -k 1 |grep sda10

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda10 60.72 18.95 71.53 395637647 1493241908

sda10 299.02 4266.67 129.41 4352 132

sda10 483.84 4589.90 4117.17 4544 4076

sda10 218.00 3360.00 100.00 3360 100

sda10 546.00 8784.00 124.00 8784 124

sda10 827.00 13232.00 136.00 13232 136

上面看到，磁盤每秒傳輸次數平均約400；每秒磁盤讀取約5MB，寫入約1MB。

iostat -d -x -k 1

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util 

sda 1.56 28.31 7.84 31.50 43.65 3.16 21.82 1.58 1.19 0.03 0.80 2.61 10.29

sda 1.98 24.75 419.80 6.93 13465.35 253.47 6732.67 126.73 32.15 2.00 4.70 2.00 85.25

sda 3.06 41.84 444.90 54.08 14204.08 2048.98 7102.04 1024.49 32.57 2.10 4.21 1.85 92.24

能夠看到磁盤的平均響應時間<5ms，磁盤使用率>80。磁盤響應正常，可是已經很繁忙了。

5、網絡監測： lsof （請參考MAN手冊）

因爲公司的程序要在一個端口監聽，因此要監測該端口的狀態信息。這裏用22端口講解

[root@WebServer ~]# lsof -i:22
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
sshd 11664 root 3u IPv6 109820 TCP 192.168.0.157:22->192.168.0.99:1174 (ESTABLISHED)
sshd 24927 root 3u IPv6 62643 TCP *:22 (LISTEN)