Scrapy對接Selenium

首先pip安裝selenium，而後下載瀏覽器驅動

 

WebDrive下載地址

chrome的webdriver：http://chromedriver.storage.googleapis.com/index.html

Firefox Firefox驅動下載地址爲：https://github.com/mozilla/geckodriver/releases/

根據操做系統，以及瀏覽器版本，下載相應的驅動，並將下載的webdriver的路徑設置到環境變量中

 

 

 將下載好的zip解壓出來、直接將裏面的exe文件放到運行環境的目錄下便可

 

 

 

簡單使用

在中間件進行操做，不去調用下載器，直接返回一個response對象

導入包：from selenium import webdriver

 

 

 

無窗口模式

再導入一個包：from selenium.webdriver.chrome.options import Options