nginx限制IP惡意調用短信接口處理方法

真實案例：

查看nginx日誌，發現別有用心的人惡意調用API接口刷短信：

30966487 115.213.229.38 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30963985 60.181.111.140 "-" [05/Jun/2018:14:37:29 +0800] 0.004 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.004 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30959954 220.190.18.25 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"

思考了幾種方案，最終考慮使用ip黑名單的方式：

處理方法：

1、nginx黑名單方式：

一、過濾日誌訪問API接口的IP，統計每10分鐘調用超過100次的IP，直接丟進nginx的訪問黑名單

二、具體步驟：

編寫shell腳本：

vim /shell/nginx_cutaccesslog.sh
#!/bin/bash
log_path=/xxx/nginx/logs
date=`date -d "10 min ago" +%Y%m%d-%H:%M:%S`
nginxpid=`cat ${log_path}/nginx.pid`
cd ${log_path}
#過濾access.log中正常訪問API接口並在10分鐘（下面是日誌切割，再作個定時任務每10分鐘執行一次，就能夠實現了）內訪問量最高的30個IP，取值若是此IP訪問量大於100次，則把此IP放入黑名單 cat access.log | grep  sendCheckCode  | grep -v 403 | awk '{print $2}'|sort|uniq -c | sort -k1 -n | tail -30 | awk '{if($1>100) print "deny "$2";"}' > ../conf/denyip.conf
#日誌切割，作定時任務，每10分鐘執行一次 mv ${log_path}/access.log ${log_path}/accesslog.bak/access_${date}.log
../sbin/nginx -s reload

 

可本身定義時間間隔和訪問量，也可取消篩選訪問量最高的30個，直接取值每10分鐘訪問接口超過100次的

其中："grep -v 403" 是把已經禁止訪問的IP給過濾掉，只篩選正常訪問的

三、修改nginx.conf

在http模塊加入：

include       denyip.conf;

從新加載nginx生效。

四、添加計劃任務：

*/10 * * * * /bin/bash /shell/nginx_cutaccesslog.sh > /dev/null 2>&1

五、驗證：

[root@xxx logs]# ll accesslog.bak/
-rw-r--r-- 1 root   root    2663901 Jun  5 15:10 access_20180605-15:00:01.log
-rw-r--r-- 1 root   root   13696947 Jun  5 15:20 access_20180605-15:10:01.log
-rw-r--r-- 1 root   root   13265509 Jun  5 15:30 access_20180605-15:20:01.log
-rw-r--r-- 1 root   root   13846297 Jun  5 15:40 access_20180605-15:30:01.log
[root@xxx logs]# cat ../conf/denyip.conf 
…………
…………
deny 112.12.137.28;
deny 183.167.237.229;
deny 111.41.43.58;
deny 115.217.117.159;
deny 219.133.100.133;
deny 171.221.254.115;
deny 60.184.131.6;
…………
…………

再查看已經禁用IP的訪問日誌，則會返回403錯誤：

[root@xxx logs]# tail -f access.log | grep "60.184.131.6"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:34 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"

2、限制IP請求數：

處理這種狀況的方法還有一種是限制單 IP 單位時間的請求數，以及單 IP 的併發鏈接數

此方法沒有實際運用，由於感受這種方法會誤殺正常的訪問用戶

寫一下此方法的大概配置，http模塊加入：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=8r/s;
    server {
        location /search/ {
            limit_req zone=one burst=5;
        }

如何估算 limit_req_zone size：

一兆字節區域能夠保持大約1萬6064字節的狀態。

那麼 10M 就能夠存儲 16 萬的 IP 統計信息, 這個對普通應用足夠了，16 萬每秒的 UV，已經超級厲害了。

若是 size 的大小若是設置小了, 例如設置成 1M，那麼當一秒內的請求 IP 數超過 16000 的時候，超出的 IP 對應的用戶看到的均爲 503 Service Temporarily Unavailable 頁面了。參考, 漏桶算法 Leaky Bucket。 同時，rate 的單位用 r/s 很是合適，若是換成按天，按小時計數，10M 的內存確定不夠用。

如何估算 limit_req_zone rate：

首先須要知道的是，普通瀏覽器的同時併發數量。按照 Dropbox 技術博客裏所談到的，目前主流瀏覽器限制 AJAX 對同一個子域名的併發鏈接數是6個。IE 6，IE 7 是兩個。

大多數瀏覽器每一個主機名都有6個併發鏈接的限制。

 

 PS：以上就是感受比較良好的防護惡意IP刷網站的兩種方法，若是你有更好的方法，不妨留言討論一下！