WebMagic介紹

學習一款爬蟲框架的使用就是WebMagic。其底層用到了HttpClient和Jsoup，能夠更方便的開發爬蟲。 WebMagic項目代碼分爲核心和擴展兩部分。核心部分(webmagic-core)是一個精簡的、模塊化的爬蟲實現，而擴展部分則包括一些便利的、實用性的功能。 WebMagic的設計目標是儘量的模塊化，並體現爬蟲的功能特點。這部分提供非常簡單、靈活的API，在基本不改變開發模式的情況下

>>阅读原文<<