講起動態網頁獲取咱們必定會用到selenium,至於selenium在各類語言的開發代碼不少,可是在咱們興致勃勃找了不少代碼,要運行的時候,編譯器只會給咱們拋出異常,由於咱們沒有配置好環境。下面我將爲你們介紹我在配置selenium環境的作法。php
首先咱們從Chrome瀏覽器的配置提及:html
Chrome瀏覽器的根據其版本分爲不少中,當咱們點開Chromediver download 頁就懵逼了,這麼多驅動咱們應該下載那個呢,chromedriver對應的Chrome版本能夠查看到你的chrome應該下載那個驅動。python
谷歌瀏覽器下載地址:git
使用mac本的可使用:chrome-to-mac in uptodowngithub
chromedriver下載地址: http://chromedriver.storage.googleapis.com/index.htmlweb
在解決了驅動的問題以後,那咱們應該把驅動放在那個位置,才能讓咱們的程序直接調用chromedriver呢。chromedriver放在python的根路徑下,python也能夠直接調用驅動。若是你已經配置好了,那咱們就來運行下面的代碼,獲取python官方網站的源碼把:chrome
1 # encoding:utf-8 2 # Author:"richie" 3 # Date:8/16/2017 4 5 from selenium import webdriver 6 url='https://www.python.org/' 7 driver = webdriver.Firefox() 8 driver.get(url) 9 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 10 html_source = driver.page_source 11 driver.quit() 12 print(html_source)
固然你也能夠放放置在其餘地方,把路徑加進來就行了,好比放在C盤的根路徑:api
1 # encoding:utf-8 2 # Author:"richie" 3 # Date:8/16/2017 4 5 from selenium import webdriver 6 url='https://www.python.org/' 7 #引入chromedriver.exe 8 chromedriver = "C:\chromedriver.exe" 9 driver = webdriver.Chrome(chromedriver) 10 driver.get(url) 11 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 12 html_source = driver.page_source 13 driver.quit() 14 print(html_source)
firefox的配置沒有chrome那麼麻煩,可是FireFox打開速度相對要慢一丟丟,驅動下載連接Firefox的驅動geckodriver 下載地址:https://github.com/mozilla/geckodriver/releases/瀏覽器
配置方法和chrome同樣,火狐各個版本下載地址。網站
1 from selenium import webdriver 2 3 browser = webdriver.Firefox() 4 browser.get('http://www.baidu.com/')
IE的驅動IEdriver 下載地址:http://www.nuget.org/packages/Selenium.WebDriver.IEDriver/
from selenium import webdriver browser = webdriver.Ie() browser.get('http://www.baidu.com/')
補充:
全部版本selenium以及IEDriverServer下載
固然還有selenium和IEDriverServer,Python版的selenium直接pip就能夠了,下面的連接裏主要是Java版的和.NET版的