webmagic爬取渲染網站

最近突然得知之後的工作有很多數據採集的任務，有朋友推薦webmagic這個項目，就上手玩了下。發現這個爬蟲項目還是挺好用，爬取靜態網站幾乎不用自己寫什麼代碼（當然是小型爬蟲了~~|）。好了，廢話少說，以此隨筆記錄一下渲染網頁的爬取過程首先找到一個js渲染的網站，這裏直接拿了學習文檔裏面給的一個網址，http://angularjs.cn/ 打開網頁是這樣的 查看源碼是這樣的   源碼這麼少，不用說

>>阅读原文<<