Scrapy - 分佈式爬蟲

分佈式爬蟲 概念 所謂分佈式, 多個程序同時對一個任務進行操作 一分多的高效率的任務進行方式 簡單說明 一個 10GB 的爬蟲任務, 交給10臺服務器進行同時爬取 對比單服務器無論怎麼優化都是 10倍的效率, 但是成本高 需要硬件環境支持 ( 帶寬, 服務器設備等 ) 多態主機共享一個爬取隊列即爲分佈式爬蟲 物理拓撲  / -------------服務器 2 |　/ --------------

>>阅读原文<<