Linux性能優化（三）——sysstat性能監控工具

1、sysstat簡介

一、sysstat簡介

sysstat提供了Linux性能監控工具集，包括sar、sadf、mpstat、iostat、pidstat等，用於監控Linux系統性能和使用狀況。
iostat - 提供CPU統計，存儲I/O統計（磁盤設備，分區及網絡文件系統）
mpstat - 提供單個或組合CPU相關統計
pidstat - 提供Linux進程級別統計：I/O、CPU、內存等
sar - 收集、報告、保存系統活動信息：CPU、內存、磁盤、中斷、網絡接口、TTY、內核表等
sadc - 系統活動數據收集器，做爲sar後端使用
sa1 - 收集系統活動平常數據，並二進制格式存儲，它做爲sadc的工具的前端，能夠經過cron來調用
sa2 - 生成系統每日活動報告，一樣可做爲sadc的工具的前端，能夠經過cron來調用
sadf - 能夠以CSV、XML格式等顯示sar收集的性能數據，這樣很是方便的將系統數據導入到數據庫中，或導入到Excel中來生成圖表
nfsiostat-sysstat: 提供NFS I/O統計
cifsiostat: 提供CIFS統計
pidstat輸出結果的%wait指標，表明進程等待CPU的時間百分比，systat 11.5.5版本才引入新指標。

二、sysstat安裝

sysstat能夠經過yum安裝
yum install sysstat
下載源碼sysstat-11.6.6.tar.xz安裝：
http://sebastien.godard.pagesperso-orange.fr/download.html
編譯選項配置：
configure
編譯：
make
安裝：
sudo make install

2、mpstat

一、mpstat簡介

mpstat是一個經常使用的多核CPU性能分析工具，用來實時查看每一個CPU的性能指標以及全部CPU的平均指標，數據文件/proc/stat。
mpstat是Multiprocessor Statistics縮寫，是實時系統監控工具。

二、mpstat命令

mpstat [-P {cpu|ALL}] [internal [count]]
-P {cpu l ALL}：表示監控的CPU， cpu在[0,cpu個數-1]中取值
internal：相鄰的兩次採樣的間隔時間
count：採樣的次數，count只能和delay一塊兒使用

三、mpstat指標展現

CPU：處理器ID
%usr：在internal時間段裏，用戶態CPU時間，不包含nice值爲負的進程
%nice：在internal時間段裏，nice值爲負進程的CPU時間。
%sys：在internal時間段裏，內核太的CPU時間。
%iowait：internal時間段裏，硬盤IO等待時間。
%irq：在internal時間段裏，硬中斷時間。
%soft：在internal時間段裏，軟中斷時間。
%steal：顯示虛擬機管理器在服務另外一個虛擬處理器時虛擬CPU處在非自願等待下花費時間的百分比。
%guest：顯示運行虛擬處理器時CPU花費時間的百分比。
%idle：在internal時間段裏，CPU除去等待磁盤IO操做外的由於任何緣由而空閒的時間閒置時間。

3、sar

一、sar簡介

sar（System Activity Reporter，系統活動狀況報告）是Linux最爲全面的系統性能分析工具之一，能夠從多方面對系統的活動進行報告，包括：文件的讀寫狀況、系統調用的使用狀況、磁盤IO、CPU效率、內存使用情況、進程活動及IPC有關的活動等。

二、sar命令

sar [options] [-A] [-o file] t [n]
-A：全部報告的總和
-u：輸出CPU使用狀況的統計信息
-v：輸出inode、文件和其餘內核表的統計信息
-d：輸出每個塊設備的活動信息
-r：輸出內存和交換空間的統計信息
-b：顯示IO和傳送速率的統計信息
-a：文件讀寫狀況
-c：輸出進程統計信息，每秒建立的進程數
-R：輸出內存頁面的統計信息
-y：終端設備活動狀況
-w：輸出系統交換活動信息

三、sar經常使用命令

（1）CPU資源監控

CPU：all表示統計信息爲全部CPU的平均值。
%user：顯示在用戶級別(application)運行使用CPU總時間的百分比。
%nice：顯示在用戶級別，用於nice操做，所佔用CPU總時間的百分比。
%system：在內核態運行所使用CPU總時間的百分比。
%iowait：顯示用於等待IO操做佔用CPU總時間的百分比。
%steal：管理程序(hypervisor)爲另外一個虛擬進程提供服務而等待虛擬CPU的百分比。
%idle：顯示CPU空閒時間佔用CPU總時間的百分比。
sar -u -f test
查看二進制文件test內容
（2）文件監控
每10秒採樣一次，連續採樣3次，觀察覈心表的狀態
sar -v 10 3

dentunusd：目錄高速緩存中未被使用的條目數量
file-nr：文件句柄（file handle）的使用數量
inode-nr：索引節點句柄（inode handle）的使用數量
pty-nr：使用pty數量
（3）內存和交換空間監控
sar -r 10 3
每10秒採樣一次，連續採樣3次，監控內存分頁

kbmemfree：可用內存大小，不包括buffer和cache的空間。
kbmemused：已用內存大小，包括buffer和cache的空間.
%memused：kbmemused和內存總量(不包括swap)的一個百分比。
kbbuffers：
kbcached：
kbcommit：保證當前系統所須要的內存，即爲了確保不溢出而須要的內存(RAM+swap)。
%commit：kbcommit與內存總量(包括swap)的一個百分比。
（4）內存分頁監控
sar -B 10 3
每10秒採樣一次，連續採樣3次，監控內存分頁

pgpgin/s：表示每秒從磁盤或SWAP置換到內存的字節數(KB)
pgpgout/s：表示每秒從內存置換到磁盤或SWAP的字節數(KB)
fault/s：每秒鐘系統產生的缺頁數,即主缺頁與次缺頁之和(major + minor)
majflt/s：每秒鐘產生的主缺頁數.
pgfree/s：每秒被放入空閒隊列中的頁個數
pgscank/s：每秒被kswapd掃描的頁個數
pgscand/s：每秒直接被掃描的頁個數
pgsteal/s：每秒鐘從cache中被清除來知足內存須要的頁個數
%vmeff：每秒清除的頁(pgsteal)佔總掃描頁(pgscank+pgscand)的百分比
（5）IO監控
sar -b 10 3
每10秒採樣一次，連續採樣3次，報告緩衝區的使用狀況

tps：每秒鐘物理設備的 I/O 傳輸總量
rtps：每秒鐘從物理設備讀入的數據總量
wtps：每秒鐘向物理設備寫入的數據總量
bread/s：每秒鐘從物理設備讀入的數據量，單位爲 塊/s
bwrtn/s：每秒鐘向物理設備寫入的數據量，單位爲 塊/s
（6）進程隊列和平均負載監控
sar -q 10 3
每10秒採樣一次，連續採樣3次，監控進程隊列長度和平均負載狀態

runq-sz：運行隊列的長度（等待運行的進程數）
plist-sz：進程列表中進程（processes）和線程（threads）的數量
ldavg-1：最後1分鐘的系統平均負載（System load average）
ldavg-5：過去5分鐘的系統平均負載
ldavg-15：過去15分鐘的系統平均負載
（7）系統交換信息監控
sar -w 10 3
每10秒採樣一次，連續採樣3次，監控系統交換活動信息

（8）設備使用狀況監控
sar -d -p 10 3
每10秒採樣一次，連續採樣3次，報告設備使用狀況

DEV：設備名稱
tps:每秒從物理磁盤I/O的次數。多個邏輯請求會被合併爲一個IO磁盤請求，一次傳輸的大小是不肯定的。
rd_sec/s：每秒讀扇區的次數。
wr_sec/s：每秒寫扇區的次數。
avgrq-sz：平均每次設備IO操做的數據大小(扇區)。
avgqu-sz：磁盤請求隊列的平均長度。
await：從請求磁盤操做到系統完成處理,每次請求的平均消耗時間，包括請求隊列等待時間，單位是毫秒。
svctm：系統處理每次請求的平均時間，不包括在請求隊列中消耗的時間。
%util：IO請求佔CPU的百分比，比率越大說明越飽和。
（9）網卡監控
sar –n DEV 1 4
-n參數選項：DEV | EDEV | NFS | NFSD | SOCK | ALL 。DEV顯示網絡接口信息，EDEV顯示關於網絡錯誤的統計數據，NFS統計活動的NFS客戶端的信息，NFSD統計NFS服務器的信息，SOCK顯示套 接字信息，ALL顯示全部。

IFACE：LAN接口
rxpck/s：每秒鐘接收的數據包
txpck/s：每秒鐘發送的數據包
rxbyt/s：每秒鐘接收的字節數
txbyt/s：每秒鐘發送的字節數
rxcmp/s：每秒鐘接收的壓縮數據包
txcmp/s：每秒鐘發送的壓縮數據包
rxmcst/s：每秒鐘接收的多播數據包

4、pidstat

一、pidstat簡介

pidstat是sysstat的一個命令，用於監控所有或指定進程的CPU、內存、線程、設備IO等系統資源的佔用狀況。Pidstat第一次採樣顯示自系統啓動開始的各項統計信息，後續採樣將顯示自上次運行命令後的統計信息。用戶能夠經過指定統計的次數和時間來得到所需的統計信息。

二、pidstat命令

pidstat [ 選項 ] [ <時間間隔> ] [ <次數> ]
-u：默認參數，顯示各進程的CPU使用統計
-r：顯示各進程的內存使用統計
-d：顯示各進程的IO使用狀況
-p：指定進程號
-w：顯示每一個進程的上下文切換狀況
-t：顯示選擇任務的線程的統計信息外的額外信息
-T { TASK | CHILD | ALL }：指定pidstat監控的內容。TASK表示報告獨立的task，CHILD表示報告進程下全部線程統計信息，ALL表示報告獨立的task和task下的全部線程。
-V：版本號
-h：在一行上顯示全部活動。
-I：在SMP環境，表示任務的CPU使用率/內核數量
-l：顯示命令名和全部參數

三、pidstat經常使用命令

（1）查看全部進程的CPU使用狀況

pidstat
pidstat -u -p ALL

PID：進程ID
%usr：進程在用戶空間佔用CPU的百分比
%system：進程在內核空間佔用CPU的百分比
%guest：進程在虛擬機佔用CPU的百分比
%CPU：進程佔用CPU的百分比
CPU：運行進程的CPU
Command：當前進程對應的命令
（2）查看全部進程的CPU使用狀況
pidstat -r

PID：進程標識符
minflt/s：任務每秒發生的次要錯誤，不須要從磁盤中加載頁
majflt/s：任務每秒發生的主要錯誤，須要從磁盤中加載頁
VSZ：虛擬地址大小，虛擬內存的使用KB
RSS：常駐集合大小，非交換區五里內存使用KB
Command：task命令名
（3）查看全部進程的IO使用狀況
pidstat -d

PID：進程id
kB_rd/s：每秒從磁盤讀取的KB
kB_wr/s：每秒寫入磁盤KB
kB_ccwr/s：任務取消的寫入磁盤的KB。當任務截斷髒的pagecache的時候會發生。
COMMAND：task的命令名
（4）查看全部進程的上下文切換狀況
pidstat -w

PID：進程id
Cswch/s：每秒主動任務上下文切換數量
Nvcswch/s：每秒被動任務上下文切換數量
Command：命令名
（5）查看進程的線程統計信息
pidstat -t

TGID：主線程的標識
TID：線程id
%usr：進程在用戶空間佔用CPU的百分比
%system：進程在內核空間佔用CPU的百分比
%guest：進程在虛擬機佔用CPU的百分比
%CPU：進程佔用CPU的百分比
CPU：運行進程的CPU
Command：當前進程對應的命令
pidstat -T ALL -p 13671

PID：進程id
msr-ms：任務和子線程在用戶級別使用的毫秒數。
system-ms：任務和子線程在系統級別使用的毫秒數。
guest-ms：任務和子線程在虛擬機(running a virtual processor)使用的毫秒數。
Command：命令名

5、iostat

一、iostat簡介

iostat是IO statistics（輸入/輸出統計）縮寫，系統級別的IO監控，用於對系統磁盤操做活動進行監視，特色是彙報磁盤活動統計情以及CPU使用狀況，缺點是不能對某個進程進行深刻分析，只能對系統總體狀況進行分析。

二、iostat命令

iostat [ options ] [ <interval> [ <count> ] ]
-c：僅顯示顯示CPU使用狀況；
-d：僅顯示顯示設備利用率；
-k：顯示狀態以千字節每秒爲單位，而不使用塊每秒；
-m：顯示狀態以兆字節每秒爲單位；
-p：顯示塊設備和全部被使用的其餘分區的狀態；
-t：顯示每一個報告產生時的時間；
-V：顯示版號並退出；
-x：顯示擴展狀態。

三、iostat指標展現

%user：CPU處在用戶模式下的時間百分比。
%nice：CPU處在帶NICE值的用戶模式下的時間百分比。
%system：CPU處在系統模式下的時間百分比。
%iowait：CPU等待輸入輸出完成時間的百分比。
%steal：管理程序維護另外一個虛擬處理器時，虛擬CPU的無心識等待時間百分比。
%idle：CPU空閒時間百分比。
tps：設備每秒的傳輸次數。
kB_read/s：每秒從設備（drive expressed）讀取的數據量；
kB_wrtn/s：每秒向設備（drive expressed）寫入的數據量；
kB_read：讀取的總數據量；
kB_wrtn：寫入的總數量數據量；
iostat -d -x -k 1 2
每隔1秒輸出磁盤IO的詳細狀況，總共採樣2次。

rrqm/s: 每秒對該設備的讀請求被合併次數，文件系統會對讀取同塊(block)的請求進行合併
wrqm/s: 每秒對該設備的寫請求被合併次數
r/s: 每秒完成的讀次數
w/s: 每秒完成的寫次數
rkB/s: 每秒讀數據量(kB爲單位)
wkB/s: 每秒寫數據量(kB爲單位)
avgrq-sz:平均每次IO操做的數據量(扇區數爲單位)
avgqu-sz: 平均等待處理的IO請求隊列長度
await: 平均每次IO請求等待時間(包括等待時間和處理時間，毫秒爲單位)
svctm: 平均每次IO請求的處理時間(毫秒爲單位)
%util: 採用週期內用於IO操做的時間比率，即IO隊列非空的時間比率

6、vmstat

一、vmstat簡介

vmstat(Virtual Meomory Statistics)是Linux中監控內存的經常使用工具，可對操做系統的虛擬內存、進程、CPU等的總體狀況進行監視。

二、vmstat命令

vmstat [options] [delay [count]]
-a：顯示活躍和非活躍內存
-f：顯示從系統啓動至今的fork數量。
-m：顯示slabinfo
-n：只在開始時顯示一次各字段名稱。
-s：顯示內存相關統計信息及多種系統活動數量。
delay：刷新時間間隔。若是不指定，只顯示一條結果。
count：刷新次數。若是不指定刷新次數，但指定刷新間隔，會一直刷新。
-d：顯示磁盤相關統計信息。
-p：顯示指定磁盤分區統計信息。
-S：指定單位顯示，k、K、m、M分別表明1000、102四、1000000、1048576字節，默認單位爲K。
-V：顯示vmstat版本信息。
vmstat [-a] [-n] [-S unit] [delay [ count]]
vmstat [-s] [-n] [-S unit]
vmstat [-m] [-n] [delay [ count]]
vmstat [-d] [-n] [delay [ count]]
vmstat [-p disk partition] [-n] [delay [ count]]
vmstat [-f]
vmstat [-V]

vmstat [options] [delay [count]]
delay：數據採樣間隔。若是不指定，返回開啓啓動以來的均值。
count：刷新數據次數。若是指定delay，但不指定connt，默認一直刷新。
vmstat interval times
每隔interval秒採樣一次，共採樣times次。

三、vmstat經常使用命令

procs：r列顯示等待CPU的進程數量，b列顯示正在不可中斷休眠（等待IO）的進程數量。memory：swapd列顯示被換出磁盤（頁面交換）的塊的數量，free列顯示空閒的（未被使用）塊的數量，buff顯示正在被用做緩衝區的數量，cache列顯示正在被用做操做系統的緩存的數量。swap：顯示交換活動：每秒有多少塊正在被換入（從磁盤）和換出（到磁盤）。io：顯示多少塊從塊設備讀取（bi）和寫出（bo）,一般反映了硬盤IO。system顯示每秒中斷(in)和上下文切換（cs）的數量。cpu顯示全部的cpu時間花費在各種操做的百分比，包括執行用戶代碼（非內核），執行系統代碼（內核），空閒以及等待IO。