爬蟲架構設計

本文主要介紹爬蟲系統的架構，具體的爬取細節和所使用的語言均可以自由選擇。php 如下是我從網上截取的一位前輩提煉的，對於爬蟲系統的要求，我以爲頗有道理。java 個人設計儘可能依據以上七條原則。python 首先我以爲一個完整爬蟲系統應該包括三個子系統：頁面爬取系統，內容入庫系統，內容管理系統。mysql 三個系統之間必須低耦合，以實現分佈式和可伸縮性的要求。redis 頁面爬取系統負責從第三方頁

>>阅读原文<<