在 Linux 中使用日誌來排錯

人們建立日誌的主要緣由是排錯。一般你會診斷爲何問題發生在你的 Linux 系統或應用程序中。錯誤信息或一系列的事件能夠給你提供找出根本緣由的線索，說明問題是如何發生的，並指出如何解決它。這裏有幾個使用日誌來解決的樣例。

 

登陸失敗緣由

若是你想檢查你的系統是否安全，你能夠在驗證日誌中檢查登陸失敗的和登陸成功但可疑的用戶。當有人經過不正當或無效的憑據來登陸時會出現認證失敗，這一般發生在使用 SSH 進行遠程登陸或 su 到本地其餘用戶來進行訪問權時。這些是由插入式驗證模塊（PAM）來記錄的。在你的日誌中會看到像 Failed password 和 user unknown 這樣的字符串。而成功認證記錄則會包括像 Accepted password 和 session opened 這樣的字符串。

 

失敗的例子:

pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=10.0.2.2

Failed password for invalid user hoover from 10.0.2.2 port 4791 ssh2

pam_unix(sshd:auth): check pass; user unknown

PAM service(sshd) ignoring max retries; 6 > 3

 

成功的例子：

Accepted password for hoover from 10.0.2.2 port 4792 ssh2

pam_unix(sshd:session): session opened for user hoover by (uid=0)

pam_unix(sshd:session): session closed for user hoover

你可使用 grep 來查找哪些用戶失敗登陸的次數最多。這些都是潛在的攻擊者正在嘗試和訪問失敗的帳戶。這是一個在 ubuntu 系統上的例子。

 

$ grep "invalid user" /var/log/auth.log | cut -d ' ' -f 10 | sort | uniq -c | sort -nr

23 oracle

18 postgres

17 nagios

10 zabbix

6 test

因爲沒有標準格式，因此你須要爲每一個應用程序的日誌使用不一樣的命令。日誌管理系統，能夠自動分析日誌，將它們有效的歸類，幫助你提取關鍵字，如用戶名。

 

日誌管理系統可使用自動解析功能從 Linux 日誌中提取用戶名。這使你能夠看到用戶的信息，並能經過點擊過濾。

 

日誌管理系統也可讓你以時間爲作座標軸的圖表來查看，使你更容易發現異常。若是有人在幾分鐘內登陸失敗一次或兩次，它多是一個真正的用戶而忘記了密碼。可是，若是有幾百個失敗的登陸而且使用的都是不一樣的用戶名，它更多是在試圖攻擊系統。

 

重啓的緣由

有時候，一臺服務器因爲系統崩潰或重啓而宕機。你怎麼知道它什麼時候發生，是誰作的？

 

關機命令

若是有人手動運行 shutdown 命令，你能夠在驗證日誌文件中看到它。在這裏，你能夠看到，有人從 IP 50.0.134.125 上做爲 ubuntu 的用戶遠程登陸了，而後關閉了系統。

 

Mar 19 18:36:41 ip-172-31-11-231 sshd[23437]: Accepted publickey for ubuntu from 50.0.134.125 port 52538 ssh

Mar 19 18:36:41 ip-172-31-11-231 23437]:sshd[ pam_unix(sshd:session): session opened for user ubuntu by (uid=0)

Mar 19 18:37:09 ip-172-31-11-231 sudo:   ubuntu : TTY=pts/1 ; PWD=/home/ubuntu ; USER=root ; COMMAND=/sbin/shutdown -r now

 

內核初始化

若是你想看看服務器從新啓動的全部緣由（包括崩潰），你能夠從內核初始化日誌中尋找。你須要搜索內核類（kernel）和 cpu 初始化（Initializing）的信息。

 

Mar 19 18:39:30 ip-172-31-11-231 kernel: [    0.000000] Initializing cgroup subsys cpuset

Mar 19 18:39:30 ip-172-31-11-231 kernel: [    0.000000] Initializing cgroup subsys cpu

Mar 19 18:39:30 ip-172-31-11-231 kernel: [    0.000000] Linux version 3.8.0-44-generic (buildd@tipua) (gcc version 4.6.3 (Ubuntu/Linaro 4.6.3-1ubuntu5) ) #66~precise1-Ubuntu SMP Tue Jul 15 04:01:04 UTC 2014 (Ubuntu 3.8.0-44.66~precise1-generic 3.8.13.25)

 

檢測內存問題

有不少緣由可能致使服務器崩潰，但一個常見的緣由是內存用盡。

 

當你係統的內存不足時，進程會被殺死，一般會殺死使用最多資源的進程。當系統使用了全部內存，而新的或現有的進程試圖使用更多的內存時就會出現錯誤。在你的日誌文件查找像 Out of Memory 這樣的字符串或相似 kill 這樣的內核警告信息。這些信息代表系統故意殺死進程或應用程序，而不是容許進程崩潰。

 

例如:

[33238.178288] Out of memory: Kill process 6230 (firefox) score 53 or sacrifice child

[29923450.995084] select 5230 (docker), adj 0, size 708, to kill

 

你可使用像 grep 這樣的工具找到這些日誌。這個例子是在 ubuntu 中:

$ grep 「Out of memory」 /var/log/syslog

 [33238.178288] Out of memory: Kill process 6230 (firefox) score 53 or sacrifice child

請記住，grep 也要使用內存，因此只是運行 grep 也可能致使內存不足的錯誤。這是另外一個你應該中央化存儲日誌的緣由！

 

定時任務錯誤日誌

cron 守護程序是一個調度器，能夠在指定的日期和時間運行進程。若是進程運行失敗或沒法完成，那麼 cron 的錯誤出如今你的日誌文件中。具體取決於你的發行版，你能夠在 /var/log/cron，/var/log/messages，和 /var/log/syslog 幾個位置找到這個日誌。cron 任務失敗緣由有不少。一般狀況下，問題出在進程中而不是 cron 守護進程自己。

默認狀況下，cron 任務的輸出會經過 postfix 發送電子郵件。這是一個顯示了該郵件已經發送的日誌。不幸的是，你不能在這裏看到郵件的內容。

 

Mar 13 16:35:01 PSQ110 postfix/pickup[15158]: C3EDC5800B4: uid=1001 from=<hoover>

Mar 13 16:35:01 PSQ110 postfix/cleanup[15727]: C3EDC5800B4: message-id=<20150310110501.C3EDC5800B4@PSQ110>

Mar 13 16:35:01 PSQ110 postfix/qmgr[15159]: C3EDC5800B4: from=<hoover@loggly.com>, size=607, nrcpt=1 (queue active)

Mar 13 16:35:05 PSQ110 postfix/smtp[15729]: C3EDC5800B4: to=<hoover@loggly.com>, relay=gmail-smtp-in.l.google.com[74.125.130.26]:25, delay=4.1, delays=0.26/0/2.2/1.7, dsn=2.0.0, status=sent (250 2.0.0 OK 1425985505 f16si501651pdj.5 - gsmtp)

你能夠考慮將 cron 的標準輸出記錄到日誌中，以幫助你定位問題。這是一個你怎樣使用 logger 命令重定向 cron 標準輸出到 syslog的例子。用你的腳原本代替 echo 命令，helloCron 能夠設置爲任何你想要的應用程序的名字。

*/5 * * * * echo ‘Hello World’ 2>&1 | /usr/bin/logger -t helloCron

它建立的日誌條目：

 

Apr 28 22:20:01 ip-172-31-11-231 CRON[15296]: (ubuntu) CMD (echo 'Hello World!' 2>&1 | /usr/bin/logger -t helloCron)

Apr 28 22:20:01 ip-172-31-11-231 helloCron: Hello World!

每一個 cron 任務將根據任務的具體類型以及如何輸出數據來記錄不一樣的日誌。

 

但願在日誌中有問題根源的線索，也能夠根據須要添加額外的日誌記錄。

免費領取兄弟連IT教育原創雲計算培訓視頻/細說linux教程，詳情諮詢官網客服：http://www.lampbrother.net/linux/ 或者勾搭Q2430675018~

歡迎加入linux交流羣 478068715