關於服務端反爬蟲的限制及告警方案

前言         當前對於一些大型網站的開放式服務，有相當一部分流量都是爬蟲程序導致，大概佔比在20%左右，爬蟲程序會增加服務端數據及流量開銷、內部資料外泄等很多問題。         反爬蟲也成了當前服務端需要關注的一些問題，其中筆者所在的組內就遇到了被爬蟲程序惡意爬取免費資源的問題，因此開始研究關於反爬蟲的限流方案及對應類似爬蟲程序的告警方案。 正文         本反爬蟲方案主要包括封

>>阅读原文<<