基於廣域網的主從分佈式爬蟲系統

目的：構造基於廣域網的主從分佈式爬蟲系統，以asp300網站爲例，主機用來爬取任務地址，從機在每次任務完成會向主機發送任務請求，由主機分配任務。html 原理：python 整個爬蟲系統分爲兩塊，一塊是主機，一塊是從機，從機數量不限，視主機的瓶頸壓力而定！主機通常只用一臺，但若是性能不夠或者達到性能瓶頸，那主機就成了限制整個爬蟲系統的最大效率的瓶頸，這也就是所謂的「木桶效應」。cookie 如何提

>>阅读原文<<