經過監控Nginx日誌來實時屏蔽高頻惡意訪問的IP

目前在個人VPS上主要經過兩種方式來限制ip的訪問次數。

• 經過Nginx的limit_req配置來限制同一ip在一分鐘內的訪問次數
• 經過Nginx deny封禁一天內超過指定次數的ip(須要一個監控腳本)

1、limit_req配置

Nginx 提供了兩個模塊：ngx_http_limit_req_module 和 ngx_http_limit_conn_module，前者是限制同一ip在一段時間內的訪問總次數，後者是限制同一ip的併發請求次數。

個人配置主要以下:

http {
    limit_req_zone $binary_remote_addr zone=onelimit:10m rate=20r/m;
  
    server {
        ...
        location / {
            limit_req zone=onelimit burst=5 nodelay;
            limit_req_log_level warn;
        }
    }
}

$binary_remote_addr 根據客戶端ip做爲鍵值，zone設置惟一標識並設置存儲內存大小，每分鐘請求不超過20次，不然返回503錯誤。
burst=5 表示若是超過頻率限制後可緩衝的等待請求數。nodelay表示burst部分不須要等待，nginx會直接處理等待部分的請求。
limit_req_log_level warn 將匹配到的攔截請求日誌等級設置爲warn級別。

看下日誌內容：

2019/03/31 17:57:32 [warn] 9672#9672: *431036 limiting requests, excess: 5.695 by zone "onelimit", client: 183.210.197.101, server: yun.xxx.com, request: "GET /download/ring/b649b722df3c4c86d405d8deb272a59b.mp3 HTTP/1.1", host: "yun.xxx.com", referrer: "http://m.xxx.com/id/61610.html"
2019/03/31 17:57:39 [warn] 9672#9672: *431038 limiting requests, excess: 5.267 by zone "onelimit", client: 183.210.197.101, server: yun.xxx.com, request: "GET /download/ring/b649b722df3c4c86d405d8deb272a59b.mp3 HTTP/1.1", host: "yun.xxx.com", referrer: "http://m.xxx.com/id/61610.html"

2、Nginx deny配置及監控腳本實現

limit_req 模塊不足的地方在於它只能控制瞬時請求的次數，每秒的請求數 (r/s) 或 每分鐘的請求數 (r/m)。這對於惡意訪問來源能比較容易的經過控制訪問頻率來繞過這個檢測，這種狀況下我主要經過deny配置來直接禁止一天內超過指定次數的ip來源（好比一天訪問次數超過100次直接返回403）。設置步驟以下:

1. 建立blocksip.conf

在nginx.conf同級目錄下建立文件blocksip.conf，在http節點增長如下配置（也能夠設置在server節點對單個網站起做用，或location節點只針對特定訪問路徑的限制）

include blocksip.conf;

能夠在blocksip.conf文件中添加一條測試記錄，如服務器ip

deny 127.0.0.1;

而後從新加載nginx，nginx -s reload，測試下是否生效。

2. 編寫監控腳本，定時更新blocksip.conf文件

根據nginx請求日誌來計算出各ip的top訪問次數，根據訪問次數將符合條件的ip加入到blocksip.conf文件中，而後從新加載nginx使配置生效便可。

PHP腳本blocksip.php:

<?php
$blockFile = "/etc/nginx/blocksip.conf";
$logs = ["/var/log/nginx/access-site1.log", "/var/log/nginx/access-site2.log"];
$blocks = file_get_contents($blockFile);
$n = 0;
foreach($logs as $log) {
    $data = shell_exec("cat $log | awk -F ' ' '{print $1}'| sort | uniq -c | sort -n -r | head -n 20");
    $lines = explode("\n", $data);

    foreach($lines as $line) {
        $line = trim($line);
        if (empty($line)) continue;
        $line = explode(" ", $line);
        list($num, $ip) = $line;

        if ($num > 100) {
            if (!stristr($blocks, $ip)) {
                var_dump("[".date("Y-m-d H:i:s")."] New Match $ip");
                $newBlock = "deny {$ip};" . PHP_EOL;
                file_put_contents($blockFile, $newBlock, FILE_APPEND);
                $n++;
            } else {
                var_dump("Blocked > $ip > $num"); 
            }
        }
    }
}

if($n > 0) {
    $r = shell_exec("nginx -s reload");
    var_dump("nginx -s reload", $r);
}

3. 將監控腳本放入crontab定時執行

每十分鐘執行一次

*/10 * * * * /usr/bin/php /etc/nginx/blocksip.php >> /tmp/blocksip.log;

看下攔截日誌內容:

2019/03/31 17:57:26 [error] 9672#9672: *431024 access forbidden by rule, client: 59.80.44.46, server: yun.xxx.com, request: "GET /music/979744fb8eb9055f77f3db2a3f3189a8.mp3 HTTP/1.1", host: "yun.xxx.com"
2019/03/31 17:57:34 [error] 9672#9672: *431037 access forbidden by rule, client: 59.80.44.46, server: yun.xxx.com, request: "GET /music/979744fb8eb9055f77f3db2a3f3189a8.mp3 HTTP/1.1", host: "yun.xxx.com"

OK, 搞定！