Scrapy抓取Ajax動態頁面

（轉載）http://www.jianshu.com/p/1e35bcb1cf21javascript 通常來講爬蟲類框架抓取Ajax動態頁面都是經過一些第三方的webkit庫去手動執行html頁面中的js代碼， 最後將生產的html代碼交給spider分析。本篇文章則是經過瀏覽器提供的Debug工具分析Ajax頁面的具體請求內容，找到獲取數據的接口url，直接調用該接口獲取數據，省去了引入pyt

>>阅读原文<<