網絡爬蟲之Scrapy實戰三：爬取多個網頁CrawlSpider

前面介紹到的Spider中只能解析在start_urls中的網頁。雖然在上一章也實現了自動爬取的規則。但略顯負責。在scrapy中可以用CrawlSpider來進行網頁的自動爬取。 爬取的規則原型如下： classscrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None,proces

>>阅读原文<<