衆推平臺架構——分佈式爬蟲

分佈式爬蟲架構 經過新一輪的投票，項目的範圍已經基本確定。 大家決定 全力以付，集中攻克「分佈式爬蟲」。 分佈式爬蟲架構1 使用隊列，即生產者，消費都模式。 由於生產者將規則生成到隊列，然後由爬蟲集羣（消費者）到隊列中取規則，然後按優先級等規則進行爬取。 分佈式爬蟲架構2 類似於webmagic，webmagic的是一個無須配置、便於二次開發的爬蟲框架，它提供簡單靈活的API，只需少量代碼即可實現

>>阅读原文<<