使用nginx 防止網站爬蟲
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot」) {web
return 403;ide
}fetch
相關文章
- 1. 如何防止網站被爬蟲爬取的幾種辦法
- 2. 怎麼防止網站被爬蟲爬取的幾種辦法
- 3. nginx——Nginx 防爬蟲優化
- 4. nginx優化-nginx防爬蟲
- 5. php 防止爬蟲設置
- 6. Nginx反爬蟲攻略：禁止某些User Agent抓取網站
- 7. Nginx反爬蟲： 禁止某些User Agent抓取網站
- 8. java爬蟲爬取網站使用多線程(虎嗅網站)
- 9. 使用Nginx過濾網絡爬蟲
- 10. 使用 Nginx 過濾網絡爬蟲
- 更多相關文章...
- • 防止使用TCP協議掃描端口 - TCP/IP教程
- • 網站 域名 - 網站主機教程
- • Composer 安裝與使用
- • 使用Rxjava計算圓周率
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
