linux 調優各項監控指標小記
自開始負責生產環境部署，中間遇到了若干線上環境內存以及CPU的問題。因爲微服務以及容器的流行，如今已經能夠很方便的使用 K8s + prometheus + grafana + alert 的方式進行監控，這足以覆蓋大部分場景。html
最重要的事情已經交由最適合的組件去作，然而瞭解一些在裸機上的命令以及指標也是必不可少的：node
- 瞭解監控什麼指標
- 平時寫一些腳本也常常會 OOM 或者 CPU 使用率太高
先以一張來自 linuxperf 的圖做爲大綱於，我試着對一些指標進行整理，以備不時之需。mysql
- 原文地址: linux 各項指標監控小記
- 系列文章: 服務器運維筆記
htop/top
htop 足以覆蓋大多數指標，詳細直接查看幫助便可。linux
這裏的 TIME 指的是 CPU 時間 htop 裏的 task 數指的是進程樹，top 裏的 task 數指的是進程樹 + 內核線程數，參考文章 www.cnblogs.com/arnoldlu/p/…sql
- sort: by mem/cpu/state. 根據進程狀態排序也相當重要，特別在 load average 太高的時候。根據內存以及CPU使用率排序用以定位高資源佔用者。
- filter
- fields
- process/ count
- ...
CPU 基本信息
在 linux 中一切皆文件，查看 /proc/cpuinfo 查看信息。另有衍生問題docker
- 如何查看 CPU 個數
- 如何查看 CPU model
- 如何查看 CPU 主頻
cat /proc/cpuinfo
cat /proc/stat
複製代碼
平均負載 (load average)
使用 uptime 和 w 可打印出系統過去 1, 5, 15 分鐘內的平均負載。同時，你可使用 sar -q 查看動態的平均負載。shell
$ uptime
19:28:49 up 290 days, 20:25, 1 user, load average: 2.39, 2.64, 1.55
$ w
19:29:50 up 290 days, 20:26, 1 user, load average: 2.58, 2.63, 1.61
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/0 172.16.0.1 19:27 6.00s 0.05s 0.00s tmux a
複製代碼
在 uptime 的 man 手冊中這麼解釋平均負載後端
System load averages is the average number of processes that are either in a runnable or uninterruptable state.bash
翻譯過來就是指系統中處於可運行狀態和不可中斷狀態的平均進程數。服務器
對於 4 核的 CPU，若是平均負載高於 4 就表明負載太高
動態平均負載
$ sar -q 1 100
Linux 3.10.0-957.21.3.el7.x86_64 (shanyue) 10/21/19 _x86_64_ (2 CPU)
16:55:52 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked
16:55:53 0 464 0.07 0.11 0.13 0
16:55:54 0 464 0.06 0.10 0.13 0
16:55:55 0 464 0.06 0.10 0.13 0
16:55:56 0 464 0.06 0.10 0.13 0
16:55:57 0 464 0.06 0.10 0.13 0
16:55:57 0 464 0.06 0.10 0.13 0
Average: 0 464 0.06 0.10 0.13 0
複製代碼
CPU 使用率
能夠直接使用 htop/top 命令查看 CPU 使用率，idle 的cpu時間也能夠直接經過 top 顯示出來
CPU 利用率 = 1 - cpu-idle-time / cpu-time
$ top
%Cpu(s): 7.4 us, 2.3 sy, 0.0 ni, 90.1 id, 0.0 wa, 0.0 hi, 0.2 si, 0.0 st
複製代碼
- user: 用戶態，但不包括 nice
- system: 內核態
- nice: 低優先級用戶態，nice 值爲 1-19 的 CPU 時間
- idle (id)
- iowait (wa)
- irq (hi)
- softirq (si)
- steal (st)
系統調用
strace 查看系統調用
-p指定pid-c統計各項系統調用被調用了多少次以及CPU時間
# 用來看一個進程所用到的系統調用
# -p: 指定 7477 號進程
$ strace -p 7477
# 用來查看某命令須要用到的系統調用
$ strace cat index.js
# 關於系統調用的統計信息
$ strace -p 7477 -c
複製代碼
內存
free 用以查看系統內存。
若是查看進程內存，使用 pidstat -r 或者 htop
$ free -h
total used free shared buff/cache available
Mem: 3.7G 682M 398M 2.1M 2.6G 2.7G
Swap: 0B 0B 0B
複製代碼
進程
衍生問題
- 如何根據命令名找到進程
- 如何根據參數名找到進程
- 進程狀態有哪些
- 如何獲取進程狀態
- 如何獲取進程的CPU佔用率
- 如何獲取進程的內存佔用
# 查看 122 PID 進程
$ ps 122
# 根據命令名(command)找到 PID
$ pgrep -a node
26464 node /code/node_modules/.bin/ts-node index.ts
30549 node server.js
# 根據命令名以及參數找到 PID
$ pgrep -af ts-node
26464 node /code/node_modules/.bin/ts-node index.ts
# 查看 122 PID 進程的信息
$ cat /proc/122/status
$ cat /proc/122/*
# 打印父進程樹
# -s --show-parents: 顯示父進程
# -a --arguments: 顯示參數，如 echo hello 中 hello 爲參數
$ pstree 122 -sap
複製代碼
procfs
進程的狀態
- D uninterruptible sleep (usually IO)
- R running or runnable (on run queue)
- S interruptible sleep (waiting for an event to complete)
- T stopped by job control signal
- t stopped by debugger during the tracing
- W paging (not valid since the 2.6.xx kernel)
- X dead (should never be seen)
- Z defunct ("zombie") process, terminated but not reaped by its parent
使用 htop/top 能夠查看全部進程的狀態信息，特別在幾種狀況下經常使用
- 查看過多的殭屍進程
- 當平均負載過大時
# 第二行能夠統計全部進程的狀態信息
$ top
...
Tasks: 214 total, 1 running, 210 sleeping, 0 stopped, 3 zombie
...
複製代碼
進程內存
ps -O rss 指定 rss 能夠查看進程的內存，另外還有命令 top/htop 與 pidstat -r
# 查看 2579 PID 的內存
# -O rss 表明附加 RSS 信息進行打印
$ ps -O rss 2579
PID RSS S TTY TIME COMMAND
2579 19876 S pts/10 00:00:03 node index.js
複製代碼
實時查看進程內存
pidstat -sr
# 查看 23097 PID 的內存信息，每隔一秒打印一次
# -r: 查看進程的內存信息
# -s: 查看進程的 stack 信息
# -p: 指定 PID
# 1: 每間隔 1s 打印一次
# 5: 共打印 5 組
$ pidstat -sr -p 23097 1 5
Linux 3.10.0-693.2.2.el7.x86_64 (shanyue) 07/18/19 _x86_64_ (2 CPU)
18:56:07 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:08 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
18:56:08 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:09 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
18:56:09 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:10 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
18:56:10 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:11 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
18:56:11 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:12 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
Average: UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
Average: 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
複製代碼
頁表與缺頁異常
pidstat -s 中 minflt 與 majflt 表明缺頁異常
$ pidstat -s -p 23097 1 5
Linux 3.10.0-693.2.2.el7.x86_64 (shanyue) 07/18/19 _x86_64_ (2 CPU)
18:56:07 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:08 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
18:56:08 UID PID minflt/s majflt/s VSZ RSS %MEM StkSize StkRef Command
18:56:09 0 23097 0.00 0.00 366424 95996 2.47 136 80 node
複製代碼
標準輸出定位到文件中
列出打開的文件
lsof, list open files
# 列出打開的文件
$ lsof
COMMAND PID TID USER FD TYPE DEVICE SIZE/OFF NODE NAME
systemd 1 root cwd DIR 253,1 4096 2 /
systemd 1 root rtd DIR 253,1 4096 2 /
複製代碼
容器中 namespace PID -> global PID 映射
換一個問題就是，如何找出 docker 容器中的 pid 在宿主機對應的 pid
# 容器環境
# 已知容器中該進程 PID 爲 122
# 在容器中找到對應 PID 的信息，在 /proc/$pid/sched 中包含宿主機的信息
$ cat /proc/122/sched
node (7477, #threads: 7)
...
複製代碼
# 宿主機環境
# 7477 就是對應的 global PID，在宿主機中能夠找到
# -p 表明指定 PID
# -f 表明打印更多信息
$ ps -fp 7477
UID PID PPID C STIME TTY TIME CMD
root 7477 7161 0 Jul10 ? 00:00:38 node index.js
複製代碼
global PID -> namespace PID 映射
換一個問題就是， 已知宿主機的 PID，如何找出對應的容器
常見的場景就是使用 top/htop 定位到佔用內存/CPU太高的進程，此時須要定位到它所在的容器
# 經過 docker inspect 查找到對應容器
$ docker ps -q | xargs docker inspect --format '{{.State.Pid}}, {{.ID}}' | grep 22932
# 經過 cgroupfs 找到對應容器
$ cat /etc/22932/cgroup
複製代碼
幸運地是有人已經在 stackoverflow 上總結出來了
SWAP
# 查找關於
$ vmstat -s
複製代碼
inode
# -i: 打印 inode number
$ ls -lahi
複製代碼
網絡吞吐量
- 帶寬: 指網絡鏈路的最大傳輸速率
- 吞吐量: 表明單位時間內成功傳輸的數據量，單位爲 b/s (KB/s, MB/s)
- PPS: pck/s (Packet Per Second)，以網絡包爲單位的傳輸速率
# 查看網卡信息
$ ifconfig eth0
$ sar -n DEV 1 | grep eth0
# IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
16:34:37 eth0 8.00 2.00 0.69 1.90 0.00 0.00 0.00
16:34:38 eth0 39.00 27.00 2.91 38.11 0.00 0.00 0.00
16:34:39 eth0 13.00 11.00 0.92 13.97 0.00 0.00 0.00
16:34:40 eth0 16.00 16.00 1.21 20.86 0.00 0.00 0.00
16:34:41 eth0 17.00 17.00 1.51 15.27 0.00 0.00 0.00
Average: eth0 18.60 14.60 1.45 18.02 0.00 0.00 0.00
複製代碼
socket 狀態
socket 信息
推薦使用 ss，不過 netstat 仍須要掌握，在特定條件 (docker 中) 有可能沒有 ss 命令。
# -t TCP
# -a 全部狀態
# -n 顯示數字地址和端口號
# -p 顯示 pid
$ netstat -tanp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 127.0.0.11:35283 0.0.0.0:* LISTEN -
tcp 0 0 192.168.112.2:37344 172.18.0.1:6379 ESTABLISHED 78/node
tcp 0 0 :::80 :::* LISTEN 78/node
複製代碼
Recv-Q與Send-Q不爲0時，表示網絡包堆積，須要注意
協議信息
# 展現對每一個協議的統計信息
$ netstat -s
# 展現對每一個協議的統計信息
$ ss -s
Total: 1468 (kernel 1480)
TCP: 613 (estab 270, closed 315, orphaned 0, synrecv 0, timewait 41/0), ports 0
Transport Total IP IPv6
* 1480 - -
RAW 0 0 0
UDP 30 22 8
TCP 298 145 153
INET 328 167 161
FRAG 0 0 0
# 也能夠這樣統計 estab socket 的數量
$ netstat -tanp | grep ESTAB | wc -l
複製代碼
TCP 鏈接數
PostgresSQL 的最大鏈接數與當前鏈接數
-- 最大鏈接數
show max_connections;
-- 當前鏈接數
select count(*) from pg_stat_activity;
複製代碼
mysql 的最大鏈接數與當前鏈接數
-- 最大鏈接數
show variables like 'max_connections';
-- 當前鏈接數
show full processlist;
複製代碼
歡迎關注公衆號山月行，我會按期分享一些先後端以及運維的文章，而且會有技術與生活上的每日回顧與總結，歡迎關注交流
相關文章
- 1. linux 各項監控指標小記
- 2. zabbix監控windows各項資源指標
- 3. zabbix監控mysql各項指標
- 4. kafka各類監控指標
- 5. 使用Prometheus監控Linux系統各項指標
- 6. zabbix基本監控各指標簡解
- 7. kafka監控指標項
- 8. 監控指標
- 9. kafka-監控-JMX、JConsole、監控指標、kafka Eagle-小白筆記（十）
- 10. ganglia監控hadoop各指標說明
- 更多相關文章...
- • ASP.NET Razor - 標記 - ASP.NET 教程
- • MySQL的優勢（優點） - MySQL教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • 算法總結-雙指針
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
