Scrapy研究探索（七）——如何防止被ban之策略大集合

時間  2020-01-01
標籤 scrapy 研究 探索 如何 防止 ban 策略 集合 欄目 Python 简体版
原文   原文鏈接

轉自：http://blog.csdn.net/u012150179/article/details/35774323 php


話說在嘗試設置download_delay小於1，而且無任何其餘防止被ban的策略以後，我終於成功的被ban了。python


關於scrapy的使用可參見以前文章：git

http://blog.csdn.net/u012150179/article/details/34913315
github

http://blog.csdn.net/u012150179/article/details/34486677
web

http://blog.csdn.net/u012150179/article/details/34441655
chrome

http://blog.csdn.net/u012150179/article/details/32911511
shell

敵退我進，敵攻我擋。

本篇博客主要研究使用防止被ban的幾大策略以及在scrapy中的使用。瀏覽器


1.策略一：設置download_delay

這個在以前的教程中已經使用過（http://blog.csdn.net/u012150179/article/details/34913315），他的做用主要是設置下載的等待時間，大規模集中的訪問對服務器的影響最大，至關與短期中增大服務器負載。服務器

下載等待時間長，不能知足段時間大規模抓取的要求，過短則大大增長了被ban的概率。cookie

使用注意：

download_delay能夠設置在settings.py中，也能夠在spider中設置，在以前博客中（http://blog.csdn.net/u012150179/article/details/34913315）已經使用過，這裏再也不過多闡述。


2.策略二：禁止cookies

所謂cookies，是指某些網站爲了辨別用戶身份而儲存在用戶本地終端（Client Side）上的數據（一般通過加密），禁止cookies也就防止了可能使用cookies識別爬蟲軌跡的網站得逞。

使用：

在settings.py中設置COOKIES_ENABLES=False。也就是不啓用cookies middleware，不想web server發送cookies。


3.策略三：使用user agent池

所謂的user agent，是指包含瀏覽器信息、操做系統信息等的一個字符串，也稱之爲一種特殊的網絡協議。服務器經過它判斷當前訪問對象是瀏覽器、郵件客戶端仍是網絡爬蟲。在request.headers能夠查看user agent。以下，使用scrapy shell查看：


[python] view plain copy

  1. scrapy shell http://blog.csdn.net/u012150179/article/details/34486677  


進而輸入以下，可獲得uesr agent信息：



由此獲得,scrapy自己是使用Scrapy/0.22.2來代表本身身份的。這也就暴露了本身是爬蟲的信息。


使用：

首先編寫本身的UserAgentMiddle中間件，新建rotate_useragent.py,代碼以下：


[python] view plain copy

  1. # -*-coding:utf-8-*-  

  2.   

  3. from scrapy import log  

  4.   

  5. """避免被ban策略之一：使用useragent池。 

  6.  

  7. 使用注意：需在settings.py中進行相應的設置。 

  8. """  

  9.   

  10. import random  

  11. from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware  

  12.   

  13. class RotateUserAgentMiddleware(UserAgentMiddleware):  

  14.   

  15.     def __init__(self, user_agent=''):  

  16.         self.user_agent = user_agent  

  17.   

  18.     def process_request(self, request, spider):  

  19.         ua = random.choice(self.user_agent_list)  

  20.         if ua:  

  21.             #顯示當前使用的useragent  

  22.             print "********Current UserAgent:%s************" %ua  

  23.   

  24.             #記錄  

  25.             log.msg('Current UserAgent: '+ua, level='INFO')  

  26.             request.headers.setdefault('User-Agent', ua)  

  27.   

  28.     #the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape  

  29.     #for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php  

  30.     user_agent_list = [\  

  31.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "  

  32.         "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",  

  33.         "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "  

  34.         "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",  

  35.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "  

  36.         "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",  

  37.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "  

  38.         "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",  

  39.         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "  

  40.         "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",  

  41.         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "  

  42.         "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",  

  43.         "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "  

  44.         "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",  

  45.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "  

  46.         "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",  

  47.         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "  

  48.         "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",  

  49.         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "  

  50.         "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",  

  51.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "  

  52.         "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",  

  53.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "  

  54.         "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",  

  55.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "  

  56.         "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",  

  57.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "  

  58.         "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",  

  59.         "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "  

  60.         "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",  

  61.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "  

  62.         "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",  

  63.         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "  

  64.         "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",  

  65.         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "  

  66.         "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"  

  67.        ]  



創建user agent池（user_agent_list）並在每次發送request以前從agent池中隨機選取一項設置request的User_Agent。編寫的UserAgent中間件的基類爲UserAgentMiddle。

除此以外，要在settings.py(配置文件)中禁用默認的useragent並啓用從新實現的User Agent。配置方法以下：


[python] view plain copy

  1. #取消默認的useragent,使用新的useragent  

  2. DOWNLOADER_MIDDLEWARES = {  

  3.         'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,  

  4.         'CSDNBlogCrawlSpider.spiders.rotate_useragent.RotateUserAgentMiddleware' :400  

  5.     }  


至此配置完畢。如今能夠運行看下效果。



能夠發現一直在變化的UserAgent。


4.策略四：使用IP池

web server應對爬蟲的策略之一就是直接將你的IP或者是整個IP段都封掉禁止訪問，這時候，當IP封掉後，轉換到其餘的IP繼續訪問便可。

可使用Scrapy+Tor+polipo

配置方法與使用教程可參見：http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/。有時間我會翻譯過來。


5.策略五：分佈式爬取

這個，內容就更多了，針對scrapy，也有相關的針對分佈式爬取的GitHub repo。能夠搜一下。


原創，轉載請註明：http://blog.csdn.net/u012150179/article/details/35774323

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程