[Python爬蟲]Scrapy配合Selenium和PhantomJS爬取動態網頁

Python世界中Scrapy一直是爬蟲的一個較爲成熟的解決方案，目前javascript在網頁中應用愈來愈普遍，愈來愈多的網站選擇使用javascript動態的生成網頁的內容，使得不少純html的爬蟲解決方案失效。針對這種動態網站的爬取，目前也有不少解決方案。其中Selenium+PhantomJS是較爲簡單和穩定的一種。javascript Selenium是一個網頁的自動化測試工具，其自己是

>>阅读原文<<