日誌管理-rsyslog

日誌：

歷史事件:時間，地點，人物，事件日期時間

事件記錄格式：
日期時間 主機 進程[pid]: 事件內容

C/S架構：經過TCP或UDP協議的服務完成日誌記錄傳送，將分佈在不一樣主機的日誌實現集中管理

rsyslog
rsyslog特性：CentOS6和7 多線程
UDP, TCP, SSL, TLS, RELP
MySQL, PGSQL, Oracle實現日誌存儲
強大的過濾器，可實現過濾記錄日誌信息中任意部分
自定義輸出格式

[root@node4~]#rpm -q rsyslog   #查詢rsyslog日誌包
rsyslog-8.24.0-12.el7.x86_64
[root@node4~]#rpm -ql rsyslog
/etc/logrotate.d/syslog
/etc/pki/rsyslog
/etc/rsyslog.conf
/etc/rsyslog.d
/etc/sysconfig/rsyslog
/usr/bin/rsyslog-recover-qi.pl
/usr/lib/systemd/system/rsyslog.service

ELK：elasticsearch, logstash, kibana
非關係型分佈式數據庫
基於apache軟件基金會jakarta項目組的項目lucene
Elasticsearch是個開源分佈式搜索引擎
Logstash對日誌進行收集、分析，並將其存儲供之後使用
kibana 能夠提供的日誌分析友好的 Web 界面

rsyslog 介紹

術語，參見man logger
facility：設施，從功能或程序上對日誌進行歸類
     auth, authpriv, cron, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, local0-local7, syslog
Priority 優先級別，從低到高排序
    debug, info, notice, warn(warning), err(error), crit(critical), alert, emerg(panic)
 參看幫助： man 3 syslog

rsyslog
程序包：rsyslog
主程序：/usr/sbin/rsyslogd
CentOS 6：service rsyslog {start|stop|restart|status} CentOS 7：/usr/lib/systemd/system/rsyslog.service
配置文件：/etc/rsyslog.conf，/etc/rsyslog.d/*.conf
庫文件： /lib64/rsyslog/*.so
配置文件格式：由三部分組成
MODULES：相關模塊配置
GLOBAL DIRECTIVES：全局配置
RULES：日誌記錄相關的規則配置

rsyslog
 RULES配置格式： facility.priority; facility.priority… target
 facility：*: 全部的facility
facility1,facility2,facility3,...：指定的facility列表
 priority： *: 全部級別
none：沒有級別，即不記錄
PRIORITY：指定級別（含）以上的全部級別
=PRIORITY：僅記錄指定級別的日誌信息
 target：
文件路徑：一般在/var/log/，文件路徑前的-表示異步寫入
用戶：將日誌事件通知給指定的用戶，* 表示登陸的全部用戶
日誌服務器：@host，把日誌送往至指定的遠程服務器記錄
管道： | COMMAND，轉發給其它命令處理

出發日志工具:logger 
[root@node4~]#logger "this is a test log"
[root@node4~]#tail /var/log/messages 
Jan 18 17:40:01 node4 systemd: Starting Session 27 of user root.
Jan 18 17:46:26 node4 dbus[626]: [system] Activating via systemd: service name='org.freedesktop.PackageKit' unit='packagekit.service'
Jan 18 17:46:26 node4 dbus-daemon: dbus[626]: [system] Activating via systemd: service name='org.freedesktop.PackageKit' unit='packagekit.service'
Jan 18 17:46:26 node4 systemd: Starting PackageKit Daemon...
Jan 18 17:46:26 node4 dbus[626]: [system] Successfully activated service 'org.freedesktop.PackageKit'
Jan 18 17:46:26 node4 dbus-daemon: dbus[626]: [system] Successfully activated service 'org.freedesktop.PackageKit'
Jan 18 17:46:26 node4 systemd: Started PackageKit Daemon.
Jan 18 17:50:01 node4 systemd: Started Session 28 of user root.
Jan 18 17:50:01 node4 systemd: Starting Session 28 of user root.
Jan 18 17:51:03 node4 root: this is a test log

[root@node4~]#egrep -v '^$|#' /etc/rsyslog.conf   #查看配置文件相關的日誌路徑
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log

ssh 的相關日誌記錄在secure 日誌裏

[root@node4~]#ssh 192.168.137.47               
root@192.168.137.47's password: 

[root@node4~]#tail /var/log/secure
Jan 18 18:14:56 node4 sshd[4090]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.137.47  user=root
Jan 18 18:14:56 node4 sshd[4090]: pam_succeed_if(sshd:auth): requirement "uid >= 1000" not met by user "root"
Jan 18 18:14:58 node4 sshd[4090]: Failed password for root from 192.168.137.47 port 52894 ssh2

[root@node4~]#egrep -v "^$|^#" /etc/ssh/sshd_config |grep  SyslogFacility 

SyslogFacility AUTHPRIV

定義log日誌路徑；

[root@node4~]#vim +33 /etc/ssh/sshd_config 

 33 SyslogFacility local7
 34 LogLevel INFO
 
 [root@node4~]#vim /etc/rsyslog.d/sshd.conf 
  1 local7.*      /var/log/sshd.log
  
[root@node4~]#systemctl restart rsyslog sshd   
 
[root@node4~]#ps aux |grep rsyslogd  (rpm -q rsyslog /rpm -ql rsyslog.$packet )
root       4665  0.0  0.2 275560  2668 ?        Ssl  18:49   0:00 /usr/sbin/rsyslogd -n
root       4700  0.0  0.0 112660   968 pts/1    S+   18:50   0:00 grep --color=auto rsyslogd


[root@node4~]# ssh  192.168.137.47
root@192.168.137.47's password: 
Permission denied, please try again.
root@192.168.137.47's password: 
Permission denied, please try again.
root@192.168.137.47's password: 
Permission denied (publickey,password).
[root@node4~]#tail /var/log/sshd.log
Jan 18 18:49:08 node4 sshd[4664]: Server listening on 0.0.0.0 port 22.
Jan 18 18:49:08 node4 sshd[4664]: Server listening on :: port 22.
Jan 18 18:49:46 node4 sshd[4681]: Failed password for root from 192.168.137.47 port 52900 ssh2
Jan 18 18:49:46 node4 sshd[4681]: Failed password for root from 192.168.137.47 port 52900 ssh2
Jan 18 18:49:46 node4 sshd[4681]: Connection closed by 192.168.137.47 port 52900 [preauth]

事件記錄格式：
日期時間 主機 進程[pid]: 事件內容

centos7:修改主機名：

[root@node3~]#hostnamectl set-hostname $hostname 
[root@node3~]#/etc/host

日誌服務器：@host，把日誌送往至指定的遠程服務器記錄

啓用網絡日誌服務
一般的日誌格式：
事件產生的日期時間 主機 進程(pid)：事件內容
如： /var/log/messages,cron,secure等 配置rsyslog成爲日誌服務器
#### MODULES ####
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514

日誌服務器：@host，把日誌送往至指定的遠程服務器記錄

源主機：192.168.137.47    node4
目標主機：192.168.137.37  node3 

[root@node4~]#cat /etc/rsyslog.d/sshd.conf 
local7.*      /var/log/sshd.log
#udp
local2.*      @192.168.137.37
#tcp
#local7.*     @@192.168.137.37

[root@node3~]#cat /etc/rsyslog.conf   |grep -A1  $ModLoad imudp  
$ModLoad imudp
$UDPServerRun 514

[root@node3~]#cat /etc/rsyslog.conf  |grep local2.*  
local2.*                                                /var/log/udp.log

測試：
[root@node4~]#ssh  192.168.137.47
root@192.168.137.47's password: 


[root@node3~]#tail /var/log/udp.log -f               
Jan 18 22:00:59 node4 sshd[7903]: Accepted password for root from 192.168.137.47 port 52916 ssh2
Jan 18 22:01:24 node4 sshd[7903]: Received disconnect from 192.168.137.47 port 52916:11: disconnected by user
Jan 18 22:01:24 node4 sshd[7903]: Disconnected from 192.168.137.47 port 52916
Jan 18 22:19:09 node4 sshd[8172]: Failed password for root from 192.168.137.47 port 52920 ssh2
Jan 18 22:19:12 node4 sshd[8172]: Accepted password for root from 192.168.137.47 port 52920 ssh2

其它日誌
其它的日誌文件
#/var/log/secure：系統安裝日誌，文本格式，應週期性分析
#/var/log/btmp：當前系統上，用戶的失敗嘗試登陸相關的日誌信息，二進制格
式，lastb命令進行查看
#/var/log/wtmp：當前系統上，用戶正常登陸系統的相關日誌信息，二進制格
式，last命令能夠查看
#/var/log/lastlog:每個用戶最近一次的登陸信息，二進制格式，lastlog命令
能夠查看
#/var/log/dmesg：系統引導過程當中的日誌信息，文本格式
文本查看工具查看
專用命令dmesg查看
#/var/log/messages ：系統中大部分的信息
#/var/log/anaconda : anaconda的日誌

[root@node4/var/log]#lastb  |head |awk '{print $3}' |sort |uniq -c 
     10 192.168.137.47
     
[root@node4/var/log]#lastb |head |awk '{ip [$3]++}END {for (i in ip ) {print ip [i] ,i }}' 
10 192.168.137.47