Python爬蟲教程-34-分佈式爬蟲介紹

Python爬蟲教程-34-分佈式爬蟲介紹 分佈式爬蟲在實際應用中還算是多的，本篇簡單介紹一下分佈式爬蟲 什麼是分佈式爬蟲 分佈式爬蟲就是多臺計算機上都安裝爬蟲程序，重點是聯合採集。單機爬蟲就是隻在一臺計算機上的爬蟲。 其實搜索引擎都是爬蟲，負責從世界各地的網站上爬取內容，當你搜索關鍵詞時就把相關的內容展現給你，只不過他們那都是灰常大的爬蟲，爬的內容量也超乎想象，也就沒法再用單機爬蟲去實現，而是使

>>阅读原文<<