Nginx狀態監控及日誌分析

【轉載請註明出處】：http://www.javashuo.com/article/p-efjipzuw-ht.html

一、Nginx狀態監控

Nginx提供了一個內置的狀態信息監控頁面可用於監控Nginx的總體訪問狀況，這個功能由ngx_http_stub_status_module模塊進行實現。
使用nginx -V 2>&1 | grep -o with-http_stub_status_module命令檢測當前Nginx是否有status功能，若是輸出ngx_http_stub_status_module則說明是有的，若是沒有能夠在編譯時加上此模塊。
默認狀況下，status是關閉的，咱們須要開啓，並指定uri來訪問數據。

server {
    listen 80;
    server_name default_server;
    location /status {
       stub_status on; 
       allow 114.247.125.227;
    }
}

allow配置只容許指定的Ip才能訪問nginx status功能，去掉就是不限制。
重啓Nginx以後，瀏覽器訪問http://{IP}/status查看狀態監控信息

• Active connections：當前的客戶端活動鏈接數(包含正在等待的客戶端鏈接),至關於TCP鏈接狀態處於Established和SYN_ACK
• accepts: 已接受的客戶端鏈接總數，即已被worker進程接收的鏈接
• handled: 已被處理的鏈接總數
• requests: 客戶端的http請求總數
• Reading: 當前正在讀取的http請求數（讀取到http請求首部）
• Writing: 當前準備響應的鏈接數（寫入到http響應首部）
• Waiting: 當前處於等待的空閒客戶端請求數, 等待的時間爲Reading和Writing之間的間隔

採集到Nginx數據以後就能夠用監控工具給監控起來了。

二、日誌分析

Nginx默認的日誌格式配置能夠在/etc/nginx/nginx.conf中找到

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" $request_time $upstream_response_time';

打印的日誌實例

39.105.66.117 - mp [11/Sep/2019:19:03:01 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.040 0.040
39.105.66.117 - mp [11/Sep/2019:19:03:08 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.008 0.008

• $remote_addr: 客戶端的ip地址
• $remote_user: 用於記錄遠程客戶端的用戶名稱
• $time_local: 用於記錄訪問時間和時區
• $request: 用於記錄請求的url以及請求方法
• $status: 響應狀態碼
• $body_bytes_sent: 給客戶端發送的文件主體內容字節數
• $http_referer: 能夠記錄用戶是從哪一個連接訪問過來的
• $http_user_agent: 用戶所使用的瀏覽器信息
• $http_x_forwarded_for: 能夠記錄客戶端IP，經過代理服務器來記錄客戶端的ip地址
• $request_time: 指的是從接受用戶請求的第一個字節到發送完響應數據的時間，即\$request_time包括接收客戶端請求數據的時間、後端程序響應的時間、發送響應數據給客戶端的時間
• $upstream_response_time: 用於接收來自上游服務器的響應的時間

經常使用分析命令

一、根據訪問IP統計UV

awk '{print $1}' paycenteraccess.log | sort -n | uniq | wc -l

二、查詢訪問最頻繁的IP(前10)

awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c | sort -rn | head -n 10

三、查看某一時間段的IP訪問量(1-8點)

awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c| sort -nr |wc -l

四、查看訪問100次以上的IP

awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

五、查看指定ip訪問過的url和訪問次數

grep "39.105.67.140" /var/log/nginx/access.log|awk '{print $7}' |sort |uniq -c |sort -n -k 1 -r

六、根據訪問URL統計PV

cat /var/log/nginx/access.log |awk '{print $7}' |wc -l

七、查詢訪問最頻繁的URL(前10)

awk '{print $7}' /var/log/nginx/access.log | sort |uniq -c | sort -rn | head -n 10

八、查看訪問最頻的URL([排除/api/appid])(前10)

grep -v '/api/appid' /var/log/nginx/access.log|awk '{print $7}' | sort |uniq -c | sort -rn | head -n 10

九、查看頁面訪問次數超過100次的頁面

cat /var/log/nginx/access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

十、查看最近1000條記錄，訪問量最高的頁面

tail -1000 /var/log/nginx/access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

十一、統計每小時的請求數,top10的時間點(精確到小時)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 10

十二、統計每分鐘的請求數,top10的時間點(精確到分鐘)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 10

1三、統計每秒的請求數,top10的時間點(精確到秒)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 10

1四、查找指定時間段的日誌

awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log

1五、列出傳輸時間超過 0.6 秒的url，顯示前10條

cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10

1六、列出/api/appid請求時間超過0.6秒的時間點

cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6 && $7~/\/api\/appid/){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10

1七、獲取前10條最耗時的請求時間、url、耗時

cat /var/log/nginx/access.log |awk '{print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

【轉載請註明出處】： http://www.javashuo.com/article/p-efjipzuw-ht.html