Scrapy框架之分佈式操做

1、分佈式爬蟲介紹 　　分佈式爬蟲概念：多臺機器上執行同一個爬蟲程序，實現網站數據的分佈爬取。html 一、原生的Scrapy沒法實現分佈式爬蟲的緣由？ 調度器沒法在多臺機器間共享：由於多臺機器上部署的scrapy會各自擁有各自的調度器，這樣就使得多臺機器沒法分配start_urls列表中的url。 管道沒法給多臺機器共享：多臺機器爬取到的數據沒法經過同一個管道對數據進行統一的數據持久出存儲。 二

>>阅读原文<<