nginx+lua防採集

簡介 以前介紹了nginx+lua+redis實現驗證碼防採集，在此基礎上我又增長了搜索引擎的域名反查，以排查僞造搜索引擎的爬蟲。原理是查看根據useragent爲搜索引擎的客戶端，如：百度、搜狗、谷歌等；經過nslookup或其餘工具反查其ip所對應的域名是否包含baidu、sogou等關鍵字，若包含則直接加入白名單；不然認爲是僞造搜索引擎的。固然更嚴謹的是判斷其一級域名的關鍵字是否爲baidu

>>阅读原文<<