Python爬蟲scrapy框架爬取動態網站——scrapy與selenium結合爬取數據

 scrapy框架只能爬取靜態網站。如需爬取動態網站，須要結合着selenium進行js的渲染，才能獲取到動態加載的數據。 如何經過selenium請求url，而再也不經過下載器Downloader去請求這個url? 方法：在request對象經過中間件的時候，在中間件內部開始使用selenium去請求url，而且會獲得url對應的源碼，而後再將   源 代碼經過response對象返回，直接交給

>>阅读原文<<