Nginx反爬蟲配置

 當咱們在爬取別人的網站的時候，咱們本身的網站也有可能會被別人爬，呵呵，怎樣防止本身的網站不被其餘人爬取呢？經過Nginx, 咱們能夠攔截大部分爬蟲。那麼再增長一個反爬蟲配額文件：php vim /usr/local/nginx/conf/anti_spider.conf 寫入：html #禁止Scrapy等工具的抓取   if ($http_user_agent ~* (Scrapy|Curl|

>>阅读原文<<