python爬蟲框架：scrapy抓取企業名錄

我們要用scrapy抓取企業名錄網站的企業信息，並且保存在mysql數據庫中，數據大概是22萬條，我們用scrapy抓取。 第一步，現在item中定義好要抓取的字段 第二步，定義spider的抓取邏輯。 第三步，在setting裏把保存的管道打通。也就是把默認的67，68行被註釋的給解開 ITEM_PIPELINES = {   'repair_spider.pipelines.RepairSpi

>>阅读原文<<