如何構建一個分佈式爬蟲：理論篇

前言 本系列文章計劃分三個章節進行講述，分別是理論篇、基礎篇和實戰篇。理論篇主要爲構建分佈式爬蟲而儲備的理論知識，基礎篇會基於理論篇的知識寫一個簡易的分佈式爬蟲，實戰篇則會以微博爲例，教你們作一個比較完整且足夠健壯的分佈式微博爬蟲。經過這三篇文章，但願你們能掌握如何構建一個分佈式爬蟲的方法；能觸類旁通，將celery用於除爬蟲外的其它場景。目前基本上的博客都是教你們使用scrapyd或者scrap

>>阅读原文<<