nginx 日誌問題(\x22)

nginx 日誌問題(\x22)

問題：

一、request_body中含有中文時，nginx日誌會轉換爲十六進制。
二、nginx記錄問題

POST /xxxxx HTTP/1.1|200|4266|0.121|0.121|------------------------------4a74a6c5ef13\x0D\x0AContent-Disposition: form-data; name=\x22city\x22\x0D\x0A\x0D\x0Ananjing\x0D\x0A------------------------------4a74a6c5ef13\x0D\x0AContent-Disposition: form-data; name=\x22service_name\x22\x0D\x0A\x0D\x0AgdmmGoods\x0D\------------------4a74a6c5ef13\x0D\x0AContent-Disposition: form-data; name=\x22canUseCoupon\x22\x0D\x0A\x0D\x0A1\x0D\x0A------------------------------4a74a6c5ef13--\x0D\x0A|-|-|-|-|xxx|https

優化：

logstash爲了能高效的處理各種日誌，但願日誌是一種特定結構存儲的方式。

---

nginx默認日誌格式：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" $request_body';

問題日誌

[25/Feb/2019:00:00:10 +0800]|192.168.10.19|POST /paas/callback HTTP/1.1|200|163|0.002|0.002|{\x22rc\x22:0,\x22msg\x22:\x22success\x22,\x22transferrate\x22:\x2245301\x22}]}}

request_body中都是轉換後十六進制，不易閱讀.

---

直接提供可視化日誌格式和解決十六進制的解決辦法：

格式化數據：

###json格式：
    log_format log_json escape=json '{"timestamp": "$time_local",'
        '"remote_addr": "$remote_addr",'
        '"referer": "$http_referer",'
        '"request": "$request",'
        '"statu": "$status",'
        '"byte": "$body_bytes_sent",'
        '"agen": "$http_user_agent",'
        '"x_forwarde": "$http_x_forwarded_for",'
        '"up_addr": "$upstream_addr",'
        '"up_host": "$upstream_http_host",'
        '"up_resp_time": "$upstream_response_time",'
        '"request_time": "$request_time"}';


###自定義邊界：
log_format main escape=json '[$time_iso8601]|$remote_addr|$request_method|$request|$status|$body_bytes_sent|$request_time|$request_body|'
                '"$http_referer"|"$http_user_agent"|$http_x_forwarded_for|'
                '"$upstream_addr"|$upstream_response_time|'
                '$upstream_cache_status|$scheme|$http_user_agent';

• log_format :日誌格式開頭
• main ：日誌名稱
• escape=json :nginx 1.11.8版本後才提供此參數。連接

若是版本低，要麼升級，要麼在logstash中使用ruby給作一次轉化，可參考連接:https://github.com/logstash-plugins/logstash-codec-json/issues/2

問題2：

當nginx出現上述的報錯，必定是數據發起端未正常編碼(默認的發起請求的Content-Type爲multipart/form-data)。
解決辦法，在POST提交數據時encode數據(Content-Type:application/x-www-form-urlencoded)
連接：https://stackoverflow.com/questions/4007969/application-x-www-form-urlencoded-or-multipart-form-data/4073451#4073451

總結：
正常格式的日誌，在logstash中須要使用grok語句進行匹配，會消耗較多的性能。若是日誌在生成時就將格式固定好，後續的處理就會很簡易。
程序開發規範中編碼格式必定要一致，否則後期對日誌的處理就變的困難了。