Nginx禁止某些User Agent抓取網站

你們都知道網絡上的爬蟲很是多，爬蟲有利也有弊，爬蟲能夠讓咱們的網站容易被其餘人搜到，好比百度蜘蛛(Baiduspider)php 問題是有些爬蟲不遵循robots規則對服務器形成壓力，或者是惡意爬取網頁、採集數據。很差的爬蟲會耗費大量的服務器資源html 影響正常的用戶使用。有些服務器是按流量計費，被爬蟲耗費不少流量要交這些額外產生的費用，好比：七牛nginx Nginx反爬蟲 在Nginx安裝目

>>阅读原文<<