1分鐘Linux性能分析
總覽
經過檢查錯誤指標、飽和、資源利用率等指標來評估性能，利用use方法檢測瓶頸java
uptime dmesg | tail vmstat 1 mpstat -P ALL 1 pidstat 1 iostat -xz 1 free -m sar -n DEV 1 sar -n TCP,ETCP 1 top
1. uptime
$ uptime 23:51:26 up 21:31, 1 user, load average: 30.02, 26.43, 19.02
能夠觀察到平均負載。負載就是cpu上等待或執行的進程數和在io上等待的進程數的和。示例中展現了最近1分鐘、5分鐘、15分鐘平均負載分別爲30.0二、26.4三、19.02，說明負載持續提高linux
2. dmesg | tail
$ dmesg | tail [1880957.563150] perl invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [...] [1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child [1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB [2320864.954447] TCP: Possible SYN flooding on port 7001. Dropping request. Check SNMP counters.
能夠觀察到最近10條系統日誌，經過日誌觀察可能引起性能問題的錯誤日誌。示例中展現了oom-kill和tcp丟包ios
3. vmstat 1
$ vmstat 1 procs ---------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 34 0 0 200889792 73708 591828 0 0 0 5 6 10 96 1 3 0 0 32 0 0 200889920 73708 591860 0 0 0 592 13284 4282 98 1 1 0 0 32 0 0 200890112 73708 591860 0 0 0 0 9501 2154 99 1 0 0 0 32 0 0 200889568 73712 591856 0 0 0 48 11900 2459 99 0 0 0 0 32 0 0 200890208 73712 591860 0 0 0 0 15898 4840 98 1 1 0 0
- r：正在和等待cpu執行的進程數，比load更適合觀察cpu飽和度，由於不含io上等待的進程數。當r大於cpu數量，說明cpu已經飽和
- free：剩餘內存，單位爲kb。使用
free -m更好 - si,so：內存換入換出，若是不爲0，表示內存不夠用
- us,sy,id,wa,st：這些表明用戶態、系統態、空閒、等待IO、竊取的cpu時間。若是io瓶頸，則sy、id和wa都比較高
4. mpstat -P ALL 1
$ mpstat -P ALL 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 07:38:49 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 07:38:50 PM all 98.47 0.00 0.75 0.00 0.00 0.00 0.00 0.00 0.00 0.78 07:38:50 PM 0 96.04 0.00 2.97 0.00 0.00 0.00 0.00 0.00 0.00 0.99 07:38:50 PM 1 97.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 07:38:50 PM 2 98.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 07:38:50 PM 3 96.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3.03 [...]
每一個cpu執行時間，用來觀察cpu負載是否不均衡，任務是不是單線程git
5. pidstat 1
$ pidstat 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 07:41:02 PM UID PID %usr %system %guest %CPU CPU Command 07:41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/0 07:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-slave 07:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 java 07:41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 java 07:41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 java 07:41:03 PM 60004 60154 0.94 4.72 0.00 5.66 9 pidstat 07:41:03 PM UID PID %usr %system %guest %CPU CPU Command 07:41:04 PM 0 4214 6.00 2.00 0.00 8.00 15 mesos-slave 07:41:04 PM 0 6521 1590.00 1.00 0.00 1591.00 27 java 07:41:04 PM 0 6564 1573.00 10.00 0.00 1583.00 28 java 07:41:04 PM 108 6718 1.00 0.00 0.00 1.00 0 snmp-pass 07:41:04 PM 60004 60154 1.00 4.00 0.00 5.00 9 pidstat
列出了進程的狀態信息，其中%CPU表明消耗的總cpu時間，示例中有兩個java進程，消耗了1598.11%和1579.25%個，即接近16核cpudocker
6. iostat -xz 1
$ iostat -xz 1
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
73.96 0.00 3.73 0.03 0.06 22.21
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
xvda 0.00 0.23 0.21 0.18 4.52 2.08 34.37 0.00 9.98 13.80 5.42 2.44 0.09
xvdb 0.01 0.00 1.02 8.94 127.97 598.53 145.79 0.00 0.43 1.78 0.28 0.25 0.25
xvdc 0.01 0.00 1.02 8.86 127.79 595.94 146.50 0.00 0.45 1.82 0.30 0.27 0.26
dm-0 0.00 0.00 0.69 2.32 10.47 31.69 28.01 0.01 3.23 0.71 3.98 0.13 0.04
dm-1 0.00 0.00 0.00 0.94 0.01 3.78 8.00 0.33 345.84 0.04 346.81 0.01 0.00
dm-2 0.00 0.00 0.09 0.07 1.35 0.36 22.50 0.00 2.55 0.23 5.62 1.78 0.03
[...]
這是分析塊設備的工具。主要關注：後端
- r/s, w/s, rkB/s, wkB/s：塊設備每秒讀、寫、讀數據量（kb）、寫數據量（kb）。若是較高說明該塊設備負載較重
- await：io請求的平均耗時（ms），包含應用在io隊列中等待和被服務的時間。若是較高說明塊設備飽和或者故障
- avgqu-sz：提交到塊設備的平均請求個數，大於1說明塊設備飽和
- %util：塊設備利用率，用來展現塊設備忙碌程度。大於60% 一般會引起性能問題，100%表示塊設備飽和
若是存儲設備是邏輯盤，後端映射多個盤，則%util爲100%並不表明飽和，avgqu-sz爲1也不表明飽和緩存
磁盤io性能瓶頸一般不是應用程序的緣由，由於底層有不少技術已經將應用io優化（預讀、緩存寫）網絡
7. free -m
# 低版本內核
$ free -m
total used free shared buffers cached
Mem: 245998 24545 221453 83 59 541
-/+ buffers/cache: 23944 222053
Swap: 0 0 0
# 高版本內核
$ free -m
total used free shared buff/cache available
Mem: 386404 10631 362422 184 13350 374301
Swap: 32766 0 32766
- buffers：給塊設備IO操做提供的緩存
- cached：給文件系統提供的緩存，頁緩存
若是這些值接近0，會致使磁盤IO性能差，能夠經過iostat確認tcp
used和free不能精確代表已用內存和空閒內存，由於還有部分做爲cache和buffers。低版本內核一般用-/+ buffers/cache來精確代表已用內存和空閒內存，而高版本內核用available代表空閒內存，其他都是已用內存工具
8. sar -n DEV 1
$ sar -n DEV 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 12:16:48 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil 12:16:49 AM eth0 18763.00 5032.00 20686.42 478.30 0.00 0.00 0.00 0.00 12:16:49 AM lo 14.00 14.00 1.36 1.36 0.00 0.00 0.00 0.00 12:16:49 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 12:16:49 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil 12:16:50 AM eth0 19763.00 5101.00 21999.10 482.56 0.00 0.00 0.00 0.00 12:16:50 AM lo 20.00 20.00 3.25 3.25 0.00 0.00 0.00 0.00 12:16:50 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
用來查看網絡吞吐量。其中rxkB/s和txkB/s表明每秒接收和發送的數據量，能夠比較好的觀察網卡壓力
示例中eth0每秒接收近22Mbytes/s，即22*8=176Mbits/sec流量數據，並與網卡帶寬1Gbit/sec比較發現壓力不大
%ifutil表明網卡設備利用率，目前不太準
9. sar -n TCP,ETCP 1
$ sar -n TCP,ETCP 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 12:17:19 AM active/s passive/s iseg/s oseg/s 12:17:20 AM 1.00 0.00 10233.00 18846.00 12:17:19 AM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:17:20 AM 0.00 0.00 0.00 0.00 0.00 12:17:20 AM active/s passive/s iseg/s oseg/s 12:17:21 AM 1.00 0.00 8359.00 6039.00 12:17:20 AM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:17:21 AM 0.00 0.00 0.00 0.00 0.00
總結了一些TCP相關的關鍵指標：
- active/s：每秒主動打開的TCP鏈接數（經過connect()）
- passive/s：每秒被動打開的TCP鏈接數（經過accept()）
- retrans/s：TCP每秒重傳的報文數
一般active和passive觀察服務負載，retrans能夠判斷網絡是否異常或者服務端是否過載而出現丟包
10. top
$ top
top - 00:15:40 up 21:56, 1 user, load average: 31.09, 29.87, 29.92
Tasks: 871 total, 1 running, 868 sleeping, 0 stopped, 2 zombie
%Cpu(s): 96.8 us, 0.4 sy, 0.0 ni, 2.7 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem: 25190241+total, 24921688 used, 22698073+free, 60448 buffers
KiB Swap: 0 total, 0 used, 0 free. 554208 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
20248 root 20 0 0.227t 0.012t 18748 S 3090 5.2 29812:58 java
4213 root 20 0 2722544 64640 44232 S 23.5 0.0 233:35.37 mesos-slave
66128 titancl+ 20 0 24344 2332 1172 R 1.0 0.0 0:00.07 top
5235 root 20 0 38.227g 547004 49996 S 0.7 0.2 2:02.74 java
4299 root 20 0 20.015g 2.682g 16836 S 0.3 1.1 33:14.42 java
1 root 20 0 33620 2920 1496 S 0.0 0.0 0:03.82 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.02 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:05.35 ksoftirqd/0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
6 root 20 0 0 0 0 S 0.0 0.0 0:06.94 kworker/u256:0
8 root 20 0 0 0 0 S 0.0 0.0 2:38.05 rcu_sched
幾乎是以前全部命令的綜合體，可是沒法像vmstat和pidstat同樣記錄變化的過程
參考資料
相關文章
- 1. 如何1分鐘內對 Linux 性能快速分析
- 2. linux性能分析
- 3. Linux性能分析
- 4. Linux 性能分析
- 5. Linux | 性能分析系列學習 （1）
- 6. 10條命令，一分鐘分析Linux性能問題
- 7. APP性能分析1
- 8. linux性能分析工具
- 9. Linux系統性能分析
- 10. Linux性能分析命令
- 更多相關文章...
- • SVN分支 - SVN 教程
- • IP地址分配（靜態分配+動態分配+零配置） - TCP/IP教程
- • Git五分鐘教程
- • 算法總結-二分查找法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 如何1分鐘內對 Linux 性能快速分析
- 2. linux性能分析
- 3. Linux性能分析
- 4. Linux 性能分析
- 5. Linux | 性能分析系列學習 （1）
- 6. 10條命令，一分鐘分析Linux性能問題
- 7. APP性能分析1
- 8. linux性能分析工具
- 9. Linux系統性能分析
- 10. Linux性能分析命令