使用webmagic爬取網站數據

爬取網站的技術很多，我是使用java來寫，經過對比還是選擇了webmagic來實現。原因就是方便，簡單。 文檔：webmagic中文文檔 源碼地址：https://github.com/code4craft/webmagic 文檔和代碼中的例子都比較簡單易懂，幾分鐘就可以進行網站的爬取和分析了。 這裏簡單介紹下窮遊網的數據抓取（只介紹思路和主要代碼，具體代碼就不粘貼了，如有需要可留言） 一、需求

>>阅读原文<<