scrapy爬蟲框架---CrawlSpider類

（1）、簡介 在糗事百科爬蟲中我們的爬蟲是繼承scrapy.Spider類的，這也是基本的scrapy框架爬蟲，在這個爬蟲中我們自己在解析完整個頁面後再獲取下一頁的url,然後重新發送了一個請求，而使用CrawlsSpider類可以幫助我們對url提出條件，只要滿足這個條件，都進行爬取，CrawlSpider類繼承自Spider，它比之前的Spider增加了新功能，即可以定義url的爬取規則，而不

>>阅读原文<<