在平常繁瑣的運維工做中，對linux服務器進行安全檢查是一個很是重要的環節。今天，分享一下如何檢查linux系統是否遭受了入侵？html
1、是否入侵檢查node
1）檢查系統日誌python
|
1
2
|
檢查系統錯誤登錄日誌，統計IP重試次數（last命令是查看系統登錄日誌，好比系統被reboot或登錄狀況）
[root@bastion-IDC ~]
# last
|
2）檢查系統用戶linux
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
查看是否有異常的系統用戶
[root@bastion-IDC ~]
# cat /etc/passwd
查看是否產生了新用戶，UID和GID爲0的用戶
[root@bastion-IDC ~]
# grep "0" /etc/passwd
查看
passwd
的修改時間，判斷是否在不知的狀況下添加用戶
[root@bastion-IDC ~]
# ls -l /etc/passwd
查看是否存在特權用戶
[root@bastion-IDC ~]
# awk -F: '$3==0 {print $1}' /etc/passwd
查看是否存在空口令賬戶
[root@bastion-IDC ~]
# awk -F: 'length($2)==0 {print $1}' /etc/shadow
|
3）檢查異常進程nginx
|
1
2
3
4
5
6
7
8
9
10
|
注意UID爲0的進程
使用
ps
-ef命令查看進程
察看該進程所打開的端口和文件
[root@bastion-IDC ~]
# lsof -p pid命令查看
檢查隱藏進程
[root@bastion-IDC ~]
# ps -ef | awk '{print }' | sort -n | uniq >1
[root@bastion-IDC ~]
# ls /porc |sort -n|uniq >2
[root@bastion-IDC ~]
# diff 1 2
|
4）檢查異常系統文件git
|
1
2
3
4
5
6
|
[root@bastion-IDC ~]
# find / -uid 0 –perm -4000 –print
[root@bastion-IDC ~]
# find / -size +10000k –print
[root@bastion-IDC ~]
# find / -name "…" –print
[root@bastion-IDC ~]
# find / -name ".." –print
[root@bastion-IDC ~]
# find / -name "." –print
[root@bastion-IDC ~]
# find / -name " " –print
|
5）檢查系統文件完整性web
|
1
2
3
4
|
[root@bastion-IDC ~]
# rpm –qf /bin/ls
[root@bastion-IDC ~]
# rpm -qf /bin/login
[root@bastion-IDC ~]
# md5sum –b 文件名
[root@bastion-IDC ~]
# md5sum –t 文件名
|
6）檢查RPM的完整性shell
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
[root@bastion-IDC ~]
# rpm -Va #注意相關的/sbin,/bin,/usr/sbin,/usr/bin
輸出格式說明：
S – File size differs
M – Mode differs (permissions)
5 – MD5
sum
differs
D – Device number mismatch
L – readLink path mismatch
U – user ownership differs
G – group ownership differs
T – modification
time
differs
|
7）檢查網絡ubuntu
|
1
2
3
4
|
[root@bastion-IDC ~]
# ip link | grep PROMISC（正常網卡不應在promisc模式，可能存在sniffer）
[root@bastion-IDC ~]
# lsof –i
[root@bastion-IDC ~]
# netstat –nap（察看不正常打開的TCP/UDP端口)
[root@bastion-IDC ~]
# arp –a
|
8）檢查系統計劃任務安全
|
1
2
3
|
[root@bastion-IDC ~]
# crontab –u root –l
[root@bastion-IDC ~]
# cat /etc/crontab
[root@bastion-IDC ~]
# ls /etc/cron.*
|
9）檢查系統後門
|
1
2
3
4
5
|
[root@bastion-IDC ~]
# cat /etc/crontab
[root@bastion-IDC ~]
# ls /var/spool/cron/
[root@bastion-IDC ~]
# cat /etc/rc.d/rc.local
[root@bastion-IDC ~]
# ls /etc/rc.d
[root@bastion-IDC ~]
# ls /etc/rc3.d
|
10）檢查系統服務
|
1
2
|
[root@bastion-IDC ~]
# chkconfig —list
[root@bastion-IDC ~]
# rpcinfo -p（查看RPC服務）
|
11）檢查rootkit
|
1
2
|
[root@bastion-IDC ~]
# rkhunter -c
[root@bastion-IDC ~]
# chkrootkit -q
|
2、linux系統被入侵/中毒的表象
|
1
2
3
4
5
6
7
8
9
10
|
比較常見的中毒表如今如下三個方面：
1）服務器出去的帶寬會跑高這個是中毒的一個特徵。
由於服務器中毒以後被別人拿去利用，常見的就是拿去當肉雞攻擊別人；再者就是拿你的數據之類的。
因此服務器帶寬方面須要特別注意下，若是服務器出去的帶寬跑很高，那確定有些異常，須要及時檢查一下！
2）系統裏會產生多餘的不明的用戶
中毒或者被入侵以後會致使系統裏產生一些不明用戶或者登錄日誌，因此這方面的檢查也是能夠看出一些異常的。
3）開機是否啓動一些不明服務和crond任務裏是否有一些來歷不明的任務？
由於中毒會隨系統的啓動而啓動的，因此通常會開機啓動，檢查一下啓動的服務或者文件是否有異常，通常會在
/etc/rc
.
local
和crondtab -l 顯示出來。
|
3、順便說下一次Linux系統被入侵/中毒的解決過程
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
在工做中碰到系統常常卡，並且有時候遠程鏈接不上，從本地以及遠程檢查一下這個系統，發現有不明的系統進程。
初步判斷就是可能中毒了！！！
解決過程：
1）在監控裏檢查一下這臺服務器的帶寬，發現服務器出去的帶寬跑很高，因此纔會致使遠程鏈接卡甚至鏈接不上，這是一個緣由。
爲何服務器出去的帶寬這麼高且超出了開通的帶寬值？這個緣由只能進入服務器系統裏檢查了。
2）遠程進入系統裏檢查了下，
ps
-aux查到不明進程 ，馬上關閉它。
3）檢查一下開機啓動項：
#chkconfig --list | grep 3:on
服務器啓動級別是3的，我檢查一下了開機啓動項，沒有特別明顯的服務。
而後檢查了一下開機啓動的一個文件
#more /etc/rc.local
看到這個文件裏被添加了不少未知項，註釋了它。
4）而後在遠程鏈接這臺服務器的時候，仍是有些卡。
檢查了一下系統的計劃任務crond，使用crondtab -l 命令進行查看，看到不少註釋行。
這些註釋行與
/etc/rc
.
local
的內容差很少。最後備份下
/var/spool/cron/root
文件（也就是root下的
crontab
計劃任務內容），就刪除了
crontab
內容，而後中止crond任務，並chkconfig crond off 禁用它開機啓動。
5）爲了完全清除危害，我檢查了一下系統的登錄日誌（last命令查看），看到除了root用戶以外還有其它的用戶登錄過。
檢查了一下
/etc/passwd
，看到有不明的用戶，馬上用usermod -L XXX 禁用這些用戶。
而後更新了下系統的複雜密碼。
|
----------------------------------------------------
|
1
2
3
4
5
6
7
|
禁用/鎖定用戶登陸系統的方法
1.
usermod
-L username 鎖定用戶
usermod
-U username 解鎖
2.
passwd
-l username 鎖定用戶
passwd
-u username 解鎖
3.修改用戶的shell類型爲
/sbin/nologin
（
/etc/passwd
文件裏修改）
4.在
/etc/
下建立空文件nologin，這樣就鎖定了除root以外的所有用戶
|
----------------------------------------------------
4、怎樣確保linux系統安全
|
1
2
3
4
5
6
7
8
9
10
11
12
|
1）從以往碰到的實例來分析，密碼太簡單是一個錯
用戶名默認，密碼太簡單是最容易被入侵的對象，因此切忌不要使用太過於簡單的密碼，先前碰到的那位客戶就是使用了太簡單的且規則的密碼 1q2w3e4r5t， 這種密碼在掃描的軟件裏是通用的，因此很容易被別人掃描出來的。
2）不要使用默認的遠程端口，避免被掃描到
掃描的人都是根據端口掃描，而後再進行密碼掃描，默認的端口每每就是掃描器的對象，他們掃描一個大的IP 段，哪些開放22端口且認爲是
ssh
服務的linux系統，因此纔會猜這機器的密碼。更改遠程端口也是安全的一個措施！
3）使用一些安全策略進行保護系統開放的端口
使用iptables或者配置
/etc/hosts
.deny 和
/etc/hosts
.allow進行白名單設置
能夠對
/etc/passwd
、
/etc/group
、
/etc/sudoers
、
/etc/shadow
等用戶信息文件進行鎖定（chattr +ai）
4）禁
ping
設置
# echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
|
---------------------------------------------------------
發現一次服務器被getshell滲透的解決辦法：
|
1
2
3
4
5
6
7
|
1）使用
top
命令發現一個python程序佔用了95%的cpu
2）使用
ps
-ef|grep python發現下面程序：
python -c
import
pty;pty.spamn("/bin/sh")
這個程序命令表示經過webshell反彈shell回來以後獲取真正的ttyshell進行滲透到服務器裏。
kill
掉這個進程！
3）發如今
/var/spool/cron
下面設置了一個nobody的定時執行上面獲取getshell的滲透命令！果斷刪除這個任務！
4）ss -a發現一個可疑ip以及它的進程，果斷在iptables裏禁止這個ip的全部請求：
-I INPUT -s 180.125.131.192 -j DROP
|
-----------------------------------------------------------------------------------------------------------
好比：
在一臺服務器上，已經啓動了80端口的nginx進程，可是執行「lsof －i:80」或者"ps -ef"命令後，沒有任何信息輸出！這是爲何？
懷疑機器上的ps命令被人黑了！執行：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
[root@locahost ~]
# which ps
/bin/ps
[root@locahost ~]
# ls -l /bin/ps
-rwxr-xr-x. 1 root root 85304 5月 11 2016
/bin/ps
[root@locahost ~]
# stat /bin/ps
File:
"/bin/ps"
Size: 85304 Blocks: 168 IO Block: 4096 普通文件
Device: fc02h
/64514d
Inode: 13549 Links: 1
Access: (0755
/-rwxr-xr-x
) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2017-05-07 17:14:37.862999884 +0800
Modify: 2016-05-11 07:23:09.000000000 +0800
Change: 2017-05-07 17:14:37.146999967 +0800
發現
ps
命令的二進制文件果真在近期被改動過。
解決辦法：能夠拷貝別的機器上的
/bin/ps
二進制文件覆蓋本機的這個文件。
|
-------------------------記一次Linux操做系統被入侵的排查過程--------------------------------------
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
|
某天忽然發現IDC機房一臺測試服務器的流量異常，幾乎佔滿了機房的總帶寬，致使其餘服務器程序運行業務受阻！
意識到了這臺測試機被人種了木馬，因而開始了緊張的排查過程：
1）運行
ps
和
top
命令
發現了兩個陌生名稱的程序（好比mei34hu）佔用了大部分CPU資源，顯然這是別人植入的程序！
果斷嘗試
kill
掉這兩個進程，
kill
後，測試機流量明顯降下去。然而不幸的是，不一下子又恢復了以前的狀態。
2）將IDC這臺測試機的外網關閉。遠程經過跳板機內網登錄這臺機器。
3）查看這些陌生程序所在路徑
查找程序路徑：
ls
/proc/進程號/exe，而後再次kill掉進程，又會生成一個新的進程名，發現路徑也是隨機在PATH變量的路徑中變換，有時在/bin目錄，有時在/sbin，有時在/usr/bin目錄中。
看來還有後臺主控程序在做怪，繼續查找。
4）嘗試查找跟蹤程序
查看
/bin
，
/sbin
，
/usr/bin
等目錄下是否存在以.開頭的文件名，發現很多，並且部分程序移除後會自動生成。
[root@localhost ~]
# ls /usr/bin/. //按Tab鍵補全
./ ../ .
ssh
.hmac
這說明還沒找到主控程序。
5）接着用
strace
命令跟蹤這些陌生程序：
[root@localhost ~]
# strace /bin/mei34hu
結果發如今跟蹤了這個程序後，它竟然自殺了（把本身進程文件幹掉了)！而後想用
netstat
看下網絡鏈接狀況，結果竟然查不到任何對外的網絡鏈接，因而開始懷疑命令被修改過了。
使用stat 查看系統命令
ps
、
ls
、netstat、pstree等等：
[root@localhost ~]
# which ps
/usr/bin/ps
[root@localhost ~]
# which ls
alias
ls='ls --color=auto'
/usr/bin/ls
[root@localhost ~]
# which netstat
/usr/bin/netstat
[root@localhost ~]
# stat /usr/bin/netstat
[root@localhost ~]
# stat /usr/bin/ps
[root@localhost ~]
# stat /usr/bin/ls
......
發現修改時間都是在最近的3天內，這讓我猛然想起傳說中的rootkit用戶態級病毒！！
有多是這臺測試機剛安裝好系統後，設置了root密碼爲123456，以後又把它放到過公網上被人入侵了。
接着查一下它在相關路徑中還放了哪些程序：
[root@localhost ~]
# find /bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /usr/bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /use/sbin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /sbin -mtime -3 -type f | xargs rm -f
將上面查找出的3天前的程序通通都刪掉，並強制斷電，重啓服務器！然而可恨的是這些程序在機器重啓後又好端端的運行以來！
很明顯，這些程序都被設置了開機自啓動
6）查看系統啓動項
[root@localhost ~]
# find /etc/rc.d/ -mtime -3 ! -type d
果真這些程序都被設置了開機自啓動。因而，就再來一次刪除，而後暴力重啓服務器。
[root@localhost ~]
# find /bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /usr/bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /use/sbin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /sbin -mtime -3 -type f | xargs rm -f
[root@localhost ~]
# find /etc/rc.d/ -mtime -3 ! -type d | xargs rm -f
重啓完服務器後，用
top
命令查看，系統CPU使用率也不高了。竟然這樣就被幹掉了。
7）顧慮到系統經常使用命令中（如
ls
，
ps
等）可能會隱藏啓動進程，這樣一旦執行又會拉起木馬程序。因而再查看下系統中是否建立了除root之外的管理員帳號：
[root@localhost ~]
# awk -F":" '{if($3 == 0) print $1}' /etc/passwd
root
結果發現只輸入了root這一個用戶，說明系統用戶是正常的。
其實，當系統被感染rootkit後，系統已經變得不可靠了，惟一的辦法就是重裝系統了。
8）對於一些經常使用命令程序的修復思路：找出經常使用命令所在的rpm包，而後強制刪除，最後在經過yum安裝（因爲外網已拿掉，能夠經過squid代理上網的yum下載）
[root@localhost ~]
# rpm -qf /bin/ps
[root@localhost ~]
# rpm -qf /bin/ls
[root@localhost ~]
# rpm -qf /bin/netstat
[root@localhost ~]
# rpm -qf /usr/bin/pstree
而後將上面命令查找出來的rpm包強制卸載
[root@localhost ~]
# rpm -e --nodeps ......
[root@localhost ~]
# rpm -e --nodeps ......
[root@localhost ~]
# rpm -e --nodeps ......
[root@localhost ~]
# rpm -e --nodeps ......
接着再從新安裝
[root@localhost ~]
# yum install -y procps coreutils net-tools psmisc
最後重啓下系統便可。除了上面此次排查以外，還能夠：
1）結合服務器的系統日誌
/var/log/messages
、
/var/log/secure
進行仔細檢查。
2）將可疑文件設爲不可執行，用chattr +ai將幾個重要目錄改成不可添加和修改，再將進程殺了，再重啓
3）chkrootkit之類的工具查一下
對於以上這些梳理的木馬排查的思路要清楚，排查手段要熟練。遇到問題不要慌，靜下心，細查系統日誌，根據上面的排查思路來一步步處理，這樣Hacker就基本
"投降"
了~~~
|
