服務器反爬蟲攻略：Apache/Nginx/PHP禁止某些User Agent抓取網站

我們都知道網絡上的爬蟲非常多，有對網站收錄有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots規則對服務器造成壓力，還不能爲網站帶來流量的無用爬蟲，比如宜搜蜘蛛（YisouSpider）（最新補充：宜搜蜘蛛已被UC神馬搜索收購！所以本文已去掉宜搜蜘蛛的禁封！==>相關文章)。最近張戈發現nginx日誌中出現了好多宜搜等垃圾的抓取記錄，於是整理收集了網絡上各種禁止垃圾蜘蛛爬站的

>>阅读原文<<