Nginx反爬蟲： 禁止某些User Agent抓取網站

一、概述 網站反爬蟲的原因 不遵守規範的爬蟲會影響網站的正常使用 網站上的數據是公司的重要資產 爬蟲對網站的爬取會造成網站統計數據的污染   常見反爬蟲手段 1. 根據 IP 訪問頻率封禁 IP 2. 設置賬號登陸時長，賬號訪問過多封禁 設置賬號的登錄限制，只有登錄才能展現內容 設置賬號登錄的時長，時間一到則自動退出 3. 彈出數字驗證碼和圖片確認驗證碼 爬蟲訪問次數過多，彈出驗證碼要求輸入 4.

>>阅读原文<<