Python scrapy中selenium的應用

在通過scrapy框架進行某些網站數據爬取的時候，往往會碰到頁面動態數據加載的情況發生，如果直接使用scrapy對其url發請求，是絕對獲取不到那部分動態加載出來的數據值。但是通過觀察我們會發現，通過瀏覽器進行url請求發送則會加載出對應的動態加載出的數據。那麼如果我們想要在scrapy也獲取動態加載出的數據，則必須使用selenium創建瀏覽器對象，然後通過該瀏覽器對象進行請求發送，獲取動態加載

>>阅读原文<<