開發一款開源爬蟲框架系列（二）：設計爬蟲架構

歡迎留言討論！java    爬蟲開源項目地址：http://git.oschina.net/coliza/MongooCrawlergit     既然是構建分佈式爬蟲架構，分佈式說明爬蟲能在多臺機器同時運行，因此必定是多客戶端的，客戶端主要用於下載網頁，內容會放入隊列，多客戶端就有可能運行在不一樣的操做系統不一樣的語言環境，因此咱們讓它暫時支持java和scala兩種依賴jvm的語言，不用區分

>>阅读原文<<