【web自動化測試】requests-html 這個解析庫，能讓你更輕鬆的獲取網頁內容

時間 2019-12-10

標籤 web自動化測試 requests html 這個解析讓你輕鬆獲取網頁內容欄目 HTML 简体版

原文原文鏈接

1. 開始

Python 中能夠進行網頁解析的庫有不少，常見的有 BeautifulSoup 和 lxml 等。在網上玩爬蟲的文章一般都是介紹 BeautifulSoup 這個庫，我日常也是經常使用這個庫，最近用 Xpath 用得比較多，使用 BeautifulSoup 就不大習慣，好久以前就知道 Reitz 大神出了一個叫 Requests-HTML 的庫，一直沒有興趣看，這回可算歹着機會用一下了。css

使用 pip install requests-html安裝，上手和 Reitz 的其餘庫同樣，輕鬆簡單：html

 from requests_html import HTMLSession
 session = HTMLSession()
 
 r = session.get('https://www.python.org/jobs/')

這個庫是在 requests 庫上實現的，r 獲得的結果是 Response 對象下面的一個子類，多個一個 html 的屬性。因此 requests 庫的響應對象能夠進行什麼操做，這個 r 也均可以。若是須要解析網頁，直接獲取響應對象的 html 屬性：python

 r.html

2. 原理

不得不膜拜 Reitz 大神太會組裝技術了。實際上 HTMLSession 是繼承自 requests.Session 這個核心類，而後將 requests.Session 類裏的 requests 方法改寫，返回本身的一個 HTMLResponse 對象，這個類又是繼承自 requests.Response,只是多加了一個 _from_response 的方法來構造實例：git

 class HTMLSession(requests.Session):
     # 重寫 request 方法，返回 HTMLResponse 構造
     def request(self, *args, **kwargs) -> HTMLResponse:
         r = super(HTMLSession, self).request(*args, **kwargs)
         return HTMLResponse._from_response(r, self)

 class HTMLResponse(requests.Response):
  # 構造器
     @classmethod
     def _from_response(cls, response, session: Union['HTMLSession', 'AsyncHTMLSession']):
         html_r = cls(session=session)
         html_r.__dict__.update(response.__dict__)
         return html_r

以後在 HTMLResponse 裏定義屬性方法 html，就能夠經過 html 屬性訪問了,實現也就是組裝 PyQuery 來幹。核心的解析類也大可能是使用 PyQuery 和 lxml 來作解析，簡化了名稱，挺討巧的。github

3. 元素定位

元素定位能夠選擇兩種方式：web

css 選擇器

css選擇器api
xpathsession

 # css 獲取有多少個職位
 jobs = r.html.find("h1.call-to-action")
 # xpath 獲取
 jobs = r.html.xpath("//h1[@class='call-to-action']")

方法名很是簡單，符合 Python 優雅的風格，這裏不妨對這兩種方式簡單的說明：異步

4. CSS 簡單規則

標籤名 h1ide
id 使用 #id 表示
class 使用 .class_name 表示
謂語表示：h1[prop=value]

5. Xpath簡單規則

路徑 // 或者 /
標籤名
謂語 [@prop=value]
軸定位 名稱::元素名[謂語]

定位到元素之後勢必要獲取元素裏面的內容和屬性相關數據，獲取文本：

 jobs.text
 jobs.full_text

獲取元素的屬性：

 attrs = jobs.attrs
 value = attrs.get("key")

還能夠經過模式來匹配對應的內容：

 ## 找某些內容匹配
 r.html.search("Python {}")
 r.html.search_all()

這個功能看起來比較雞肋，能夠深刻研究優化一下，說不定能在 github 上混個提交。

6. 人性化操做

除了一些基礎操做，這個庫還提供了一些人性化的操做。好比一鍵獲取網頁的全部超連接，這對於整站爬蟲應該是個福音，URL 管理比較方便：

 r.html.absolute_links
 r.html.links

內容頁面一般都是分頁的，一次抓取不了太多，這個庫能夠獲取分頁信息：

 print(r.html)
 # 比較一下
 for url in r.html:
     print(url)

結果以下：

 # print(r.html)
 <HTML url='https://www.python.org/jobs/'>
 # for
 <HTML url='https://www.python.org/jobs/'>
 <HTML url='https://www.python.org/jobs/?page=2'>
 <HTML url='https://www.python.org/jobs/?page=3'>
 <HTML url='https://www.python.org/jobs/?page=4'>
 <HTML url='https://www.python.org/jobs/?page=5'>

經過迭代器實現了智能發現分頁，這個迭代器裏面會用一個叫 _next 的方法，貼一段源碼感覺下：

 def get_next():
  candidates = self.find('a', containing=next_symbol)
 
  for candidate in candidates:
   if candidate.attrs.get('href'):
    # Support 'next' rel (e.g. reddit).
    if 'next' in candidate.attrs.get('rel', []):
     return candidate.attrs['href']

經過查找 a 標籤裏面是否含有指定的文原本判斷是否是有下一頁，一般咱們的下一頁都會經過 下一頁 或者 加載更多 來引導，他就是利用這個標誌來進行判斷。默認的以列表形式存在全局：['next', 'more', 'older']。我我的認爲這種方式很是不靈活，幾乎沒有擴展性。感興趣的能夠往 github 上提交代碼優化。