Nginx反爬蟲攻略：禁止某些User Agent抓取網站

咱們都知道網絡上的爬蟲很是多，有對網站收錄有益的，好比百度蜘蛛（Baiduspider），也有不但不遵照robots規則對服務器形成壓力，還不能爲網站帶來流量的無用爬蟲，好比宜搜蜘蛛（YisouSpider）（最新補充：宜搜蜘蛛已被UC神馬搜索收購！因此本文已去掉宜搜蜘蛛的禁封！==>相關文章)。最近發現nginx日誌中出現了好多宜搜等垃圾的抓取記錄，因而整理收集了網絡上各類禁止垃圾蜘蛛爬站的方法

>>阅读原文<<