基於webMagic實現爬蟲開發

     最近由於畢設一定的數據源，故需要進行爬蟲方面的開發，網上的爬蟲框架很多，包括scrapy（基於python），PySpider（基於python）,webMagic（基於Java）等等。在網上查找了一番資料後選定webMagic，一方面它可以基於Java進行爬蟲的開發，更重要的還是它的學習成本很低，官方文檔簡單易懂（國人開發，中文文檔）。作者提供了一組高效而簡潔的api，使得我們能用少量

>>阅读原文<<