使用WebCollector爬蟲框架進行微信公衆號文章爬取並持久化

〇、Java爬蟲框架有哪些？html 1.nutch：Apache下開源爬蟲項目，適合作搜索引擎，分佈式爬蟲只是其中一個功能，功能豐富，文檔完整。java 2.heritrix：比較成熟，用的人較多，有本身的web管理控制檯，包含了一個HTTP服務器。mysql 3.crowler4j：只具備爬蟲的核心功能，上手簡單。git 4.webmagic：一個可伸縮的爬蟲框架，涵蓋爬蟲整個生命週期：下載、

>>阅读原文<<