webmagic+selenium+mongodb+springboot抓取JD商品信息

最近剛學了webmagic這麼一個爬蟲框架（之前都是手調api）於是決定寫個demo，我就拿京東的商品來練練手。 一、採用的技術 webmagic：一個優秀開源的java爬蟲框架，聽說是根據python的scarpy的設計思想來寫的，具體的思想大概就是抓取你想要爬的url放在隊列中，主要是根據判斷條件該url爲列表頁還是詳情頁，如果是列表頁就爬取url放在隊列中，如果從列表中拿到的url是詳情頁就

>>阅读原文<<