【nginx運維基礎(4)】Nginx的日誌管理(日誌格式與定時分割日誌)

Nginx日誌主要分爲兩種：訪問日誌和錯誤日誌。日誌開關在Nginx配置文件（通常在server段來配置）中設置，兩種日誌均可以選擇性關閉，默認都是打開的。

訪問日誌access_log

#日誌格式設定
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';

#定義本虛擬主機的訪問日誌
access_log ar/loginx/ha97access.log access;

log_format access 中的access表示給後面定義的日誌個數取了個名爲main的名稱，便於在access_log指令中引用

對比日誌格式和輸出的結果能夠發現，日誌格式用一對單引號包起來，多個日誌格式段用能夠放在不一樣的行，最後用分號(;)結尾
單引號中的雙引號("),空白符，中括號([)等字符原樣輸出，比較長的字符串一般用雙引號(")包起來，看起來不容易更加清楚，$開始的變量會替換爲真實的值

日誌的格式

$server_name  #虛擬主機名稱。

$remote_addr  #遠程客戶端的IP地址。

-  #空白，用一個「-」佔位符替代，歷史緣由致使還存在。

$remote_user  #遠程客戶端用戶名稱，用於記錄瀏覽者進行身份驗證時提供的名字，如登陸百度的用戶名scq2099yt，若是沒有登陸就是空白。

[$time_local]  #訪問的時間與時區，好比18/Jul/2016:17:00:01 +0800，時間信息最後的"+0800"表示服務器所處時區位於UTC以後的8小時。

$request  #請求的URI和HTTP協議，這是整個PV日誌記錄中最有用的信息，記錄服務器收到一個什麼樣的請求,請求的是什麼

$status  #記錄請求返回的http狀態碼，好比成功是200。

$uptream_status  #upstream狀態，好比成功是200.

$body_bytes_sent  #發送給客戶端的文件主體內容的大小，好比899，能夠將日誌每條記錄中的這個值累加起來以粗略估計服務器吞吐量。

$http_referer  #記錄從哪一個頁面連接訪問過來的。 

$http_user_agent  #客戶端瀏覽器信息

$http_x_forwarded_for  #客戶端的真實ip，一般web服務器放在反向代理的後面，這樣就不能獲取到客戶的IP地址了，經過$remote_add拿到的IP地址是反向代理服務器的iP地址。反向代理服務器在轉發請求的http頭信息中，能夠增長x_forwarded_for信息，用以記錄原有客戶端的IP地址和原來客戶端的請求的服務器地址。

$ssl_protocol  #SSL協議版本，好比TLSv1。

$ssl_cipher  #交換數據中的算法，好比RC4-SHA。 

$upstream_addr  #upstream的地址，即真正提供服務的主機地址。 

$request_time  #整個請求的總時間。 

$upstream_response_time  #請求過程當中，upstream的響應時間。

訪問日誌中一個典型的記錄以下：

192.168.1.102 - scq2099yt [18/Mar/2013:23:30:42 +0800] "GET /stats/awstats.pl?config=scq2099yt HTTP/1.1" 200 899 "http://192.168.1.1/pv/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XXX; Maxthon)"

須要注意的是：log_format配置必須放在http內，不然會出現以下警告信息：

nginx: [warn] the "log_format" directive may be used only on "http" level in /etc/nginx/nginx.conf:97

access_log中記錄post請求的參數

常見的nginx配置中access log通常都只有GET請求的參數，而POST請求的參數卻不行。
http://wiki.nginx.org/NginxHttpCoreModule#.24request_body

$request_body
This variable(0.7.58+) contains the body of the request. The significance of this variable appears in locations with directives proxy_pass or fastcgi_pass.

正如上文件所示，只須要使用$request_body便可打出post的數據，在現存的server段加上下面的設置便可：

log_format access '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent $request_body "$http_referer" "$http_user_agent" $http_x_forwarded_for';
access_log logs/test.access.log access;

錯誤日誌error_log

錯誤日誌主要記錄客戶端訪問Nginx出錯時的日誌，格式不支持自定義。經過錯誤日誌，你能夠獲得系統某個服務或server的性能瓶頸等。所以，將日誌好好利用，你能夠獲得不少有價值的信息。錯誤日誌由指令error_log來指定，具體格式以下：

error_log path(存放路徑) level(日誌等級)

path含義同access_log，level表示日誌等級，具體以下：

[ debug | info | notice | warn | error | crit ]
從左至右，日誌詳細程度逐級遞減，即debug最詳細，crit最少。

舉例說明以下：

error_log  logs/error.log  info;

須要注意的是：error_log off並不能關閉錯誤日誌，而是會將錯誤日誌記錄到一個文件名爲off的文件中。
正確的關閉錯誤日誌記錄功能的方法以下：

error_log /dev/null;

上面表示將存儲日誌的路徑設置爲「垃圾桶」。

location = /favicon.ico {  
  log_not_found off;   # 常常碰到favicon.ico找不到的日誌，直接關閉它。
}

日誌分割

新版本Nginx支持自動切割並壓縮日誌，日誌文件名以下：

access.log
access.log.1
access.log.2.gz
access.log.3.gz
error.log
error.log.1
error.log.2.gz
error.log.3.gz

默認是天天都會產生一個.gz文件。若是還不能知足你的需求的話,還能夠用shell腳本+crond處理日誌

#!/bin/bash
# The Nginx logs path
logs_path="/data0/logs"
logs_dir=${logs_path}/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
logs_file=$(date -d "yesterday" +"%Y%m%d")
mkdir -p /data0/backuplogs/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
tar -czf ${logs_path}/${logs_file}.tar.gz ${logs_path}/*.log
rm -rf ${logs_path}/*.log
mv ${logs_path}/${logs_file}.tar.gz /data0/backuplogs/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
/usr/local/nginx/sbin/nginx -s reload
for oldfiles in `find /data0/backuplogs/$(date -d "30 days ago" +"%Y")/$(date -d "30 days ago" +"%m")/ -type f -mtime +30`
do
rm -f $oldfiles
done

00 00 * * * /usr/local/sbin/cut-logs.sh 2>&1 >/dev/null &