Python如何實現分佈式爬蟲

    經過前面的介紹，相信大家已經對Python爬蟲有了初步的瞭解，對一些常見的網站爬蟲，應該也能夠輕鬆實現。不難發現，我們在使用單一爬蟲進行爬取數據時有明顯缺陷——速度慢，當我們需要進行大規模數據採集時，這種速度難以滿足我們的需求。此時，就需要分佈式爬蟲的幫助了。由於對分佈式系統不做過多解釋，有興趣的朋友可以自行查閱瞭解，我們將重點放在分佈式爬蟲上，下面是幾點簡單介紹： Ⅰ. 簡介     一

>>阅读原文<<