java爬蟲入門---WebMagic

一、爬蟲框架的使用 爬蟲的底層實現 ：HttpClient + Jsoup，這裏使用別人做好的的爬蟲框架的輪子，可以省略我們絕大多數步驟！ webmagic 的設計目標是儘量的模塊化，並體現爬蟲的功能特點。這部分提供非常簡 單、靈活的API，在基本不改變開發模式的情況下，編寫一個爬蟲。 1.2、主要特色 完全模塊化的設計，強大的可擴展性。 核心簡單但是涵蓋爬蟲的全部流程，靈活而強大，也是學習爬蟲入

>>阅读原文<<