利用nginx來屏蔽網頁爬蟲

利用nginx來屏蔽指定的user_agent的訪問以及根據user_agent作跳轉 轉自：https://www.cnblogs.com/hh2737/p/6784864.htmlphp 對於作國內站的我來講，我不但願國外蜘蛛來訪問個人網站，特別是個別垃圾蜘蛛，它們訪問特別頻繁。這些垃圾流量多了以後，嚴重浪費服務器的帶寬和資源。經過判斷user agent，在nginx中禁用這些蜘蛛能夠節省一

>>阅读原文<<