Nginx 日誌分析及性能排查

Nginx 日誌分析及性能排查

2017-03-04  Linux愛好者

（點擊上方公衆號，可快速關注）

 

做者：-外星人-

my.oschina.net/362228416/blog/844713

若有好文章投稿，請點擊 → 這裏瞭解詳情

 

最近一直在作性能排查，思路就是根據分析Nginx日誌，獲得響應耗時的url、以及請求時間，再獲得這段時間的請求量，併發量，分析是併發的緣由，仍是自己就比較慢，若是是應用自己的緣由，只須要找到對應的代碼，而後進行優化就行了

 

我找到的幾個緣由，基本就是後端sql運行的比較多，單次訪問看不出來，可是人比較多的時候就比較慢了，人少的時候20-200毫秒，人多的時候，200-6000毫秒，優化以後基本保持在幾十毫秒，優化策略就是減小沒必要要的sql，加上緩存，基本解決了卡頓的問題，順便把此次用的一系列命令記錄下來，當個總結吧

 

若是須要獲得請求處理的時間，須要在nginx log 裏面加上$request_time，下面是個人log_format

 

nginx.conf

 

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                              '$status $body_bytes_sent $request_body "$http_referer" '

                              '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';

 

修改以後重啓nginx，查看nginx log的時候，就能看到nginx處理請求所花的時間了，這個時間基本就是後端所花的時間，因此能夠根據這個字段來獲得響應慢的請求

 

如下是就是我用到的一些命令了

 

獲取pv數

 

$ cat /usr/local/nginx/logs/access.log | wc -l

 

獲取ip數

 

$ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l

 

獲取最耗時的請求時間、url、耗時，前10名, 能夠修改後面的數字獲取更多，不加則獲取所有

 

$ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

 

獲取某一時刻的請求數量，能夠把秒去掉獲得分鐘的數據，把分鐘去掉獲得小時的數據，以此類推

 

$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l

 

獲取每分鐘的請求數量，輸出成csv文件，而後用excel打開，能夠生成柱狀圖

 

$ cat /usr/local/class/logs/access.log  | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv

 

 

上面的圖是用excel生成的，也能夠用命令行工具gnuplot生成png，我也試了一下，沒什麼問題，直接以編程的形式獲得報表，去掉人工操做部分，很方便，可是有一點就是x軸數據比較多的時候，不能像excel同樣自動稀釋數據，因此我仍是喜歡用excel來生成

 

其實用來用去也就是那麼幾個命令:

 

cat：輸入文件內容

 

grep：過濾文本

 

'sort'：排序

 

'uniq'：去重

 

'awk'：文本處理

 

命令組合使用，單個命令可使用屢次，來達到多重過濾的效果，前面一個命令的輸出就是後一個命令的輸入，流式處理，只要學會這個命令，有多看似複雜的東西，都變得異常簡單。

 

上面介紹的都是命令，下面再介紹一個直接輸出html的，其實就是利用go-access來分析nginx日誌

 

cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess   --time-format='%H:%M:%S'   --date-format='%d/%b/%Y'   --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html

 

 

go-access是以docker容器的形式運行的，只要你安裝了docker，就能直接運行，免安裝很方便

 

以上腳本，配合日誌天天的日誌分割，而後在crontab裏面配置一下自動運行腳本，可生成每一天的nginx報表，網站狀況一幕瞭然，固然這裏也有缺點，由於不實時

 

想要統計實時數據，可使用ngxtop 來查看，安裝起來也很簡單

 

$ pip install ngxtop

 

運行的話，先進到nginx目錄，而後再運行，-c 指定配置文件，-t 刷新頻率，單位爲秒

 

$ cd /usr/local/nginx

$ ngxtop -c conf/nginx.conf -t 1

 

可是這種實時的方式，還須要ssh遠程登陸，不太方便，還可使用lua來進行實時統計，而後寫一個界面把數據展現出來，經過lua-nginx-module，nginx/tengine 均可以用，若是直接安裝openresty的話，就方便了，內嵌了lua，不須要從新編譯nginx了

 

以上～～～

 

 

利用grep 過濾日誌的條數

　　grep 「myname」  www.shop.com.log | wc -l 

　　說明：查詢包含myname 的日誌條數