scrapy中spider和crawlspider的區別

spider和crawlspider都是用來實現數據解析的爬蟲模塊,但是還是有很大區別的. 原理來說都可以達到目的,但是應用情況嫩實現數量級的區別. 建立方式: scrapy genspider 爬蟲名 指定域 scrapy genspider -t crawl 爬蟲名 指定域 spider有parse函數 crawl spider沒有parse函數 crawl spider生成了一個rules,

>>阅读原文<<