Python網頁信息採集：使用PhantomJS採集淘寶天貓商品內容

1，引言 最近一直在看Scrapy 爬蟲框架，並嘗試使用Scrapy框架寫一個可以實現網頁信息採集的簡單的小程序。嘗試過程中遇到了很多小問題，希望大家多多指教。 本文主要介紹如何使用Scrapy結合PhantomJS採集天貓商品內容，文中自定義了一個DOWNLOADER_MIDDLEWARES，用來採集需要加載js的動態網頁內容。看了很多介紹DOWNLOADER_MIDDLEWARES資料，總結來

>>阅读原文<<