[Python3網絡爬蟲開發實戰] 7-動態渲染頁面爬取-1-Selenium的使用

時間  2019-11-21
標籤 python3 python 網絡 爬蟲 開發 實戰 動態 渲染 頁面 selenium 使用 欄目 Python 简体版
原文   原文鏈接

在前一章中，咱們瞭解了Ajax的分析和抓取方式，這其實也是JavaScript動態渲染的頁面的一種情形，經過直接分析Ajax，咱們仍然能夠藉助requests或urllib來實現數據爬取。php

不過JavaScript動態渲染的頁面不止Ajax這一種。好比中國青年網（詳見news.youth.cn/gn/），它的分頁部分是由JavaScript生成的，並不是原始HTML代碼，這其中並不包含Ajax請求。好比ECharts的官方實例（詳見echarts.baidu.com/demo.html#b…），其圖形都是通過JavaScript計算以後生成的。再有淘寶這種頁面，它即便是Ajax獲取的數據，可是其Ajax接口含有不少加密參數，咱們難以直接找出其規律，也很難直接分析Ajax來抓取。css

爲了解決這些問題，咱們能夠直接使用模擬瀏覽器運行的方式來實現，這樣就能夠作到在瀏覽器中看到是什麼樣，抓取的源碼就是什麼樣，也就是可見便可爬。這樣咱們就不用再去管網頁內部的JavaScript用了什麼算法渲染頁面，不用管網頁後臺的Ajax接口到底有哪些參數。html

Python提供了許多模擬瀏覽器運行的庫，如Selenium、Splash、PyV八、Ghost等。本章中，咱們就來介紹一下Selenium和Splash的用法。有了它們，就不用再爲動態渲染的頁面發愁了。python

Selenium是一個自動化測試工具，利用它能夠驅動瀏覽器執行特定的動做，如點擊、下拉等操做，同時還能夠獲取瀏覽器當前呈現的頁面的源代碼，作到可見便可爬。對於一些JavaScript動態渲染的頁面來講，此種抓取方式很是有效。本節中，就讓咱們來感覺一下它的強大之處吧。jquery

1. 準備工做

本節以Chrome爲例來說解Selenium的用法。在開始以前，請確保已經正確安裝好了Chrome瀏覽器並配置好了ChromeDriver。另外，還須要正確安裝好Python的Selenium庫，詳細的安裝和配置過程能夠參考第1章。web

2. 基本使用

準備工做作好以後，首先來大致看一下Selenium有一些怎樣的功能。示例以下：正則表達式

from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome()try:    browser.get('https://www.baidu.com')    input = browser.find_element_by_id('kw')    input.send_keys('Python')    input.send_keys(Keys.ENTER)    wait = WebDriverWait(browser, 10)    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))    print(browser.current_url)    print(browser.get_cookies())    print(browser.page_source)finally:    browser.close()複製代碼

運行代碼後發現，會自動彈出一個Chrome瀏覽器。瀏覽器首先會跳轉到百度，而後在搜索框中輸入Python，接着跳轉到搜索結果頁，如圖7-1所示。算法

圖7-1 運行結果api

搜索結果加載出來後，控制檯分別會輸出當前的URL、當前的Cookies和網頁源代碼：瀏覽器

1
2
3
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=Python&rsv_pq=c94d0df9000a72d0&rsv_t=07099xvun1ZmC0bf6eQvygJ43IUTTUOl5FCJVPgwG2YREs70GplJjH2F%2BCQ&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug2=0&inputT=87&rsv_sug4=87
[{'secure': False, 'value': 'B490B5EBF6F3CD402E515D22BCDA1598', 'domain': '.baidu.com', 'path': '/', 'httpOnly': False, 'name': 'BDORZ', 'expiry': 1491688071.707553}, {'secure': False, 'value': '22473_1441_21084_17001', 'domain': '.baidu.com', 'path': '/', 'httpOnly': False, 'name': 'H_PS_PSSID'}, {'secure': False, 'value': '12883875381399993259_00_0_I_R_2_0303_C02F_N_I_I_0', 'domain': '.www.baidu.com', 'path': '/', 'httpOnly': False, 'name': '__bsi', 'expiry': 1491601676.69722}]
<!DOCTYPE html><!--STATUS OK-->...</html>

源代碼過長，在此省略。能夠看到，咱們獲得的當前URL、Cookies和源代碼都是瀏覽器中的真實內容。

因此說，若是用Selenium來驅動瀏覽器加載網頁的話，就能夠直接拿到JavaScript渲染的結果了，不用擔憂使用的是什麼加密系統。

下面來詳細瞭解一下Selenium的用法。

3. 聲明瀏覽器對象

Selenium支持很是多的瀏覽器，如Chrome、Firefox、Edge等，還有Android、BlackBerry等手機端的瀏覽器。另外，也支持無界面瀏覽器PhantomJS。

此外，咱們能夠用以下方式初始化：

1
2
3
4
5
6
7
from selenium import webdriver
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

這樣就完成了瀏覽器對象的初始化並將其賦值爲browser對象。接下來，咱們要作的就是調用browser對象，讓其執行各個動做以模擬瀏覽器操做。

4. 訪問頁面

咱們能夠用get()方法來請求網頁，參數傳入連接URL便可。好比，這裏用get()方法訪問淘寶，而後打印出源代碼，代碼以下：

1
2
3
4
5
6
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

運行後發現，彈出了Chrome瀏覽器而且自動訪問了淘寶，而後控制檯輸出了淘寶頁面的源代碼，隨後瀏覽器關閉。

經過這幾行簡單的代碼，咱們能夠實現瀏覽器的驅動並獲取網頁源碼，很是便捷。

5. 查找節點

Selenium能夠驅動瀏覽器完成各類操做，好比填充表單、模擬點擊等。好比，咱們想要完成向某個輸入框輸入文字的操做，總須要知道這個輸入框在哪裏吧？而Selenium提供了一系列查找節點的方法，咱們能夠用這些方法來獲取想要的節點，以便下一步執行一些動做或者提取信息。

單個節點

好比，想要從淘寶頁面中提取搜索框這個節點，首先要觀察它的源代碼，如圖7-2所示。

圖7-2 源代碼

能夠發現，它的id是q，name也是q。此外，還有許多其餘屬性，此時咱們就能夠用多種方式獲取它了。好比，find_element_by_name()是根據name值獲取，find_element_by_id()是根據id獲取。另外，還有根據XPath、CSS選擇器等獲取的方式。

咱們用代碼實現一下：

1
2
3
4
5
6
7
8
9
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first, input_second, input_third)
browser.close()

這裏咱們使用3種方式獲取輸入框，分別是根據ID、CSS選擇器和XPath獲取，它們返回的結果徹底一致。運行結果以下：

1
2
3
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.5649563096161541-1")>
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.5649563096161541-1")>
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.5649563096161541-1")>

能夠看到，這3個節點都是WebElement類型，是徹底一致的。

這裏列出全部獲取單個節點的方法：

1
2
3
4
5
6
7
8
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

另外，Selenium還提供了通用方法find_element()，它須要傳入兩個參數：查找方式By和值。實際上，它就是find_element_by_id()這種方法的通用函數版本，好比find_element_by_id(id)就等價於find_element(By.ID, id)，兩者獲得的結果徹底一致。咱們用代碼實現一下：

1
2
3
4
5
6
7
8
from selenium import webdriver
from selenium.webdriver.common.by import By
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q')
print(input_first)
browser.close()

實際上，這種查找方式的功能和上面列舉的查找函數徹底一致，不過參數更加靈活。

多個節點

若是查找的目標在網頁中只有一個，那麼徹底能夠用find_element()方法。但若是有多個節點，再用find_element()方法查找，就只能獲得第一個節點了。若是要查找全部知足條件的節點，須要用find_elements()這樣的方法。注意，在這個方法的名稱中，element多了一個s，注意區分。

好比，要查找淘寶左側導航條的全部條目，如圖7-3所示。

圖7-3 導航欄

就能夠這樣來實現：

1
2
3
4
5
6
7
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()

運行結果以下：

1
[<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-1")>, <selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-2")>, <selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-3")>...<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-16")>]

這裏簡化了輸出結果，中間部分省略。

能夠看到，獲得的內容變成了列表類型，列表中的每一個節點都是WebElement類型。

也就是說，若是咱們用find_element()方法，只能獲取匹配的第一個節點，結果是WebElement類型。若是用find_elements()方法，則結果是列表類型，列表中的每一個節點是WebElement類型。

這裏列出全部獲取多個節點的方法：

1
2
3
4
5
6
7
8
find_elements_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

固然，咱們也能夠直接用find_elements()方法來選擇，這時能夠這樣寫：

1
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')

結果是徹底一致的。

6. 節點交互

Selenium能夠驅動瀏覽器來執行一些操做，也就是說可讓瀏覽器模擬執行一些動做。比較常見的用法有：輸入文字時用send_keys()方法，清空文字時用clear()方法，點擊按鈕時用click()方法。示例以下：

1
2
3
4
5
6
7
8
9
10
11
12
from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

這裏首先驅動瀏覽器打開淘寶，而後用find_element_by_id()方法獲取輸入框，而後用send_keys()方法輸入iPhone文字，等待一秒後用clear()方法清空輸入框，再次調用send_keys()方法輸入iPad文字，以後再用find_element_by_class_name()方法獲取搜索按鈕，最後調用click()方法完成搜索動做。

經過上面的方法，咱們就完成了一些常見節點的動做操做，更多的操做能夠參見官方文檔的交互動做介紹：selenium-python.readthedocs.io/api.html#mo…。

7. 動做鏈

在上面的實例中，一些交互動做都是針對某個節點執行的。好比，對於輸入框，咱們就調用它的輸入文字和清空文字方法；對於按鈕，就調用它的點擊方法。其實，還有另一些操做，它們沒有特定的執行對象，好比鼠標拖曳、鍵盤按鍵等，這些動做用另外一種方式來執行，那就是動做鏈。

好比，如今實現一個節點的拖曳操做，將某個節點從一處拖曳到另一處，能夠這樣實現：

1
2
3
4
5
6
7
8
9
10
11
12
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()

首先，打開網頁中的一個拖曳實例，而後依次選中要拖曳的節點和拖曳到的目標節點，接着聲明ActionChains對象並將其賦值爲actions變量，而後經過調用actions變量的drag_and_drop()方法，再調用perform()方法執行動做，此時就完成了拖曳操做，如圖7-4和圖7-5所示。

圖7-4 拖曳前的頁面

圖7-5 拖曳後的頁面

更多的動做鏈操做能夠參考官方文檔：selenium-python.readthedocs.io/api.html#mo…。

8. 執行JavaScript

對於某些操做，Selenium API並無提供。好比，下拉進度條，它能夠直接模擬運行JavaScript，此時使用execute_script()方法便可實現，代碼以下：

1
2
3
4
5
6
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

這裏就利用execute_script()方法將進度條下拉到最底部，而後彈出alert提示框。

因此說有了這個方法，基本上API沒有提供的全部功能均可以用執行JavaScript的方式來實現了。

9. 獲取節點信息

前面說過，經過page_source屬性能夠獲取網頁的源代碼，接着就可使用解析庫（如正則表達式、Beautiful Soup、pyquery等）來提取信息了。

不過，既然Selenium已經提供了選擇節點的方法，返回的是WebElement類型，那麼它也有相關的方法和屬性來直接提取節點信息，如屬性、文本等。這樣的話，咱們就能夠不用經過解析源代碼來提取信息了，很是方便。

接下來，就看看經過怎樣的方式來獲取節點信息吧。

獲取屬性

咱們可使用get_attribute()方法來獲取節點的屬性，可是其前提是先選中這個節點，示例以下：

1
2
3
4
5
6
7
8
9
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

運行以後，程序便會驅動瀏覽器打開知乎頁面，而後獲取知乎的logo節點，最後打印出它的class。

控制檯的輸出結果以下：

1
2
<selenium.webdriver.remote.webelement.WebElement (session="e08c0f28d7f44d75ccd50df6bb676104", element="0.7236390660048155-1")>
zu-top-link-logo

經過get_attribute()方法，而後傳入想要獲取的屬性名，就能夠獲得它的值了。

獲取文本值

每一個WebElement節點都有text屬性，直接調用這個屬性就能夠獲得節點內部的文本信息，這至關於Beautiful Soup的get_text()方法、pyquery的text()方法，示例以下：

1
2
3
4
5
6
7
from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)

這裏依然先打開知乎頁面，而後獲取「提問」按鈕這個節點，再將其文本值打印出來。

控制檯的輸出結果以下：

1
提問

獲取id、位置、標籤名和大小

另外，WebElement節點還有一些其餘屬性，好比id屬性能夠獲取節點id，location屬性能夠獲取該節點在頁面中的相對位置，tag_name屬性能夠獲取標籤名稱，size屬性能夠獲取節點的大小，也就是寬高，這些屬性有時候仍是頗有用的。示例以下：

1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

這裏首先得到「提問」按鈕這個節點，而後調用其id、location、tag_name、size屬性來獲取對應的屬性值。

10. 切換Frame

咱們知道網頁中有一種節點叫做iframe，也就是子Frame，至關於頁面的子頁面，它的結構和外部網頁的結構徹底一致。Selenium打開頁面後，它默認是在父級Frame裏面操做，而此時若是頁面中還有子Frame，它是不能獲取到子Frame裏面的節點的。這時就須要使用switch_to.frame()方法來切換Frame。示例以下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
try:
logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

控制檯的輸出以下：

1
2
3
NO LOGO
<selenium.webdriver.remote.webelement.WebElement (session="4bb8ac03ced4ecbdefef03ffdc0e4ccd", element="0.13792611320464965-2")>
RUNOOB.COM

這裏仍是之前面演示動做鏈操做的網頁爲實例，首先經過switch_to.frame()方法切換到子Frame裏面，而後嘗試獲取父級Frame裏的logo節點（這是不能找到的），若是找不到的話，就會拋出NoSuchElementException異常，異常被捕捉以後，就會輸出NO LOGO。接下來，從新切換回父級Frame，而後再次從新獲取節點，發現此時能夠成功獲取了。

因此，當頁面中包含子Frame時，若是想獲取子Frame中的節點，須要先調用switch_to.frame()方法切換到對應的Frame，而後再進行操做。

11. 延時等待

在Selenium中，get()方法會在網頁框架加載結束後結束執行，此時若是獲取page_source，可能並非瀏覽器徹底加載完成的頁面，若是某些頁面有額外的Ajax請求，咱們在網頁源代碼中也不必定能成功獲取到。因此，這裏須要延時等待必定時間，確保節點已經加載出來。

這裏等待的方式有兩種：一種是隱式等待，一種是顯式等待。

隱式等待

當使用隱式等待執行測試的時候，若是Selenium沒有在DOM中找到節點，將繼續等待，超出設定時間後，則拋出找不到節點的異常。換句話說，當查找節點而節點並無當即出現的時候，隱式等待將等待一段時間再查找DOM，默認的時間是0。示例以下：

1
2
3
4
5
6
7
from selenium import webdriver
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

這裏咱們用implicitly_wait()方法實現了隱式等待。

顯式等待

隱式等待的效果其實並無那麼好，由於咱們只規定了一個固定時間，而頁面的加載時間會受到網絡條件的影響。

這裏還有一種更合適的顯式等待方法，它指定要查找的節點，而後指定一個最長等待時間。若是在規定時間內加載出來了這個節點，就返回查找的節點；若是到了規定時間依然沒有加載出該節點，則拋出超時異常。示例以下：

1
2
3
4
5
6
7
8
9
10
11
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

這裏首先引入WebDriverWait這個對象，指定最長等待時間，而後調用它的until()方法，傳入要等待條件expected_conditions。好比，這裏傳入了presence_of_element_located這個條件，表明節點出現的意思，其參數是節點的定位元組，也就是ID爲q的節點搜索框。

這樣能夠作到的效果就是，在10秒內若是ID爲q的節點（即搜索框）成功加載出來，就返回該節點；若是超過10秒尚未加載出來，就拋出異常。

對於按鈕，能夠更改一下等待條件，好比改成element_to_be_clickable，也就是可點擊，因此查找按鈕時查找CSS選擇器爲.btn-search的按鈕，若是10秒內它是可點擊的，也就是成功加載出來了，就返回這個按鈕節點；若是超過10秒還不可點擊，也就是沒有加載出來，就拋出異常。

運行代碼，在網速較佳的狀況下是能夠成功加載出來的。

控制檯的輸出以下：

1
2
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-1")>
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-2")>

能夠看到，控制檯成功輸出了兩個節點，它們都是WebElement類型。

若是網絡有問題，10秒內沒有成功加載，那就拋出TimeoutException異常，此時控制檯的輸出以下：

1
2
3
4
5
TimeoutException Traceback (most recent call last)
<ipython-input-4-f3d73973b223> in <module>()
7 browser.get('https://www.taobao.com/')
8 wait = WebDriverWait(browser, 10)
----> 9 input = wait.until(EC.presence_of_element_located((By.ID, 'q')))

關於等待條件，其實還有不少，好比判斷標題內容，判斷某個節點內是否出現了某文字等。表7-1列出了全部的等待條件。

表7-1 等待條件及其含義

等待條件

含義

title_is

標題是某內容

title_contains

標題包含某內容

presence_of_element_located

節點加載出來，傳入定位元組，如(By.ID, 'p')

visibility_of_element_located

節點可見，傳入定位元組

visibility_of

可見，傳入節點對象

presence_of_all_elements_located

全部節點加載出來

text_to_be_present_in_element

某個節點文本包含某文字

text_to_be_present_in_element_value

某個節點值包含某文字

frame_to_be_available_and_switch_to_it

加載並切換

invisibility_of_element_located

節點不可見

element_to_be_clickable

節點可點擊

staleness_of

判斷一個節點是否仍在DOM，可判斷頁面是否已經刷新

element_to_be_selected

節點可選擇，傳節點對象

element_located_to_be_selected

節點可選擇，傳入定位元組

element_selection_state_to_be

傳入節點對象以及狀態，相等返回True，不然返回False

element_located_selection_state_to_be

傳入定位元組以及狀態，相等返回True，不然返回False

alert_is_present

是否出現警告

關於更多等待條件的參數及用法，能夠參考官方文檔：selenium-python.readthedocs.io/api.html#mo…。

12. 前進和後退

日常使用瀏覽器時都有前進和後退功能，Selenium也能夠完成這個操做，它使用back()方法後退，使用forward()方法前進。示例以下：

1
2
3
4
5
6
7
8
9
10
11
import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

這裏咱們連續訪問3個頁面，而後調用back()方法回到第二個頁面，接下來再調用forward()方法又能夠前進到第三個頁面。

13. Cookies

使用Selenium，還能夠方便地對Cookies進行操做，例如獲取、添加、刪除Cookies等。示例以下：

1
2
3
4
5
6
7
8
9
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

首先，咱們訪問了知乎。加載完成後，瀏覽器實際上已經生成Cookies了。接着，調用get_cookies()方法獲取全部的Cookies。而後，咱們添加一個Cookie，這裏傳入一個字典，有name、domain和value等內容。接下來，再次獲取全部的Cookies。能夠發現，結果就多了這一項新加的Cookie。最後，調用delete_all_cookies()方法刪除全部的Cookies。再從新獲取，發現結果就爲空了。

控制檯的輸出以下：

1
2
3
[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[]

14. 選項卡管理

在訪問網頁的時候，會開啓一個個選項卡。在Selenium中，咱們也能夠對選項卡進行操做。示例以下：

1
2
3
4
5
6
7
8
9
10
11
12
import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

控制檯的輸出以下：

1
['CDwindow-4f58e3a7-7167-4587-bedf-9cd8c867f435', 'CDwindow-6e05f076-6d77-453a-a36c-32baacc447df']

首先訪問了百度，而後調用了execute_script()方法，這裏傳入window.open()這個JavaScript語句新開啓一個選項卡。接下來，咱們想切換到該選項卡。這裏調用window_handles屬性獲取當前開啓的全部選項卡，返回的是選項卡的代號列表。要想切換選項卡，只須要調用switch_to_window()方法便可，其中參數是選項卡的代號。這裏咱們將第二個選項卡代號傳入，即跳轉到第二個選項卡，接下來在第二個選項卡下打開一個新頁面，而後切換回第一個選項卡從新調用switch_to_window()方法，再執行其餘操做便可。

15. 異常處理

在使用Selenium的過程當中，不免會遇到一些異常，例如超時、節點未找到等錯誤，一旦出現此類錯誤，程序便不會繼續運行了。這裏咱們可使用try except語句來捕獲各類異常。

首先，演示一下節點未找到的異常，示例以下：

1
2
3
4
5
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')

這裏首先打開百度頁面，而後嘗試選擇一個並不存在的節點，此時就會遇到異常。

運行以後控制檯的輸出以下：

1
2
3
4
5
NoSuchElementException Traceback (most recent call last)
<ipython-input-23-978945848a1b> in <module>()
3 browser = webdriver.Chrome()
4 browser.get('https://www.baidu.com')
----> 5 browser.find_element_by_id('hello')

能夠看到，這裏拋出了NoSuchElementException異常，這一般是節點未找到的異常。爲了防止程序遇到異常而中斷，咱們須要捕獲這些異常，示例以下：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()
複製代碼

這裏咱們使用try except來捕獲各種異常。好比，咱們對find_element_by_id()查找節點的方法捕獲NoSuchElementException異常，這樣一旦出現這樣的錯誤，就進行異常處理，程序也不會中斷了。

控制檯的輸出以下：

1
No Element

關於更多的異常類，能夠參考官方文檔：selenium-python.readthedocs.io/api.html#mo…。

如今，咱們基本對Selenium的常規用法有了大致的瞭解。使用Selenium，處理JavaScript再也不是難事。


本資源首發於崔慶才的我的博客靜覓： Python3網絡爬蟲開發實戰教程 | 靜覓

如想了解更多爬蟲資訊，請關注個人我的微信公衆號：進擊的Coder

weixin.qq.com/r/5zsjOyvEZ… (二維碼自動識別)

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程