scrapy+selenium爬去京東動態網頁

使用scrapy爬取京東圖書出現問題：京東中部分數據採用JS加載生成。 造成後果：scrapy爬下來的網頁缺乏一些信息（需要加載JS才能生成）如圖1 圖1 京東商品的價格不在網頁源代碼中。 解決方法： 1. 使用scrapy-splash。scrapy-splash可以幫助scrapy加載動態網頁，下載地址   github提供來下載的方法與安裝指導   由於感覺麻煩，沒有使用 2. 使用sele

>>阅读原文<<