lxml模塊(應用xpath技術)

時間  2019-12-10
標籤 lxml 模塊 應用 xpath 技術 简体版
原文   原文鏈接

1、lxml介紹

　　第三方庫lxml是第一款表現出高性能特徵的python xml庫，天生支持Xpath1.0、XSLT1.0、定製元素類，甚至python風格的數據綁定接口。lxml是經過Cpython實現的，構建在兩個C庫上（libxml2和libxslt），爲執行解析、序列化、轉換等核心任務提供了主要動力，是爬蟲處理網頁數據的一件利器。
　　lxml對xml和html都有很好的支持，分別使用 lxml.etree 和 lxml.html 兩個模塊。html

一、安裝第三方lxml模塊

# 經過pip直接下載安裝
pip install lxml

# 經過git克隆源碼進行下載安裝
git clone https://github.com/lxml/lxml.git   lxml

二、lxml.html和lxml.etree模塊

　　lxml.html&lxml.etree這兩個模塊是最經常使用的HTML文檔和XML文檔解析模塊。
　　HTML(HyperText Markup Language)超文本標記語言。
　　XML(Extensible Markup Language)可擴展標記語言。node

三、lxml官方文檔

　　lxmlpython

2、Xpath語法

一、選取節點

　　Xpath使用路徑表達式在XML文檔中選取節點。節點是經過沿着路徑或者step來選取的。經常使用的路徑表達式以下：git

表達式 描述
nodename 選取此節點的全部子節點
/ 從根節點選取
// 從匹配選擇的當前節點選擇文檔的節點，而不考慮它們的位置
. 選取當前節點
.. 選取當前節點的父節點
@ 選取屬性

　　下面爲一些路徑表達式及表達式結果：github

路徑表達式 結果
bookstore 選取 bookstore 元素的全部子節點
/bookstore 選取根元素 bookstore。註釋：假如路徑起始於正斜槓( / )，則此路徑始終表明到某元素的絕對路徑！
bookstore/book 選取屬於 bookstore 的子元素的全部 book 元素
//book 選取全部 book 子元素，而無論它們在文檔中的位置。
bookstore//book 選擇屬於 bookstore 元素的後代的全部 book 元素，而無論它們位於 bookstore 之下的什麼位置。
//@lang 選取名爲 lang 的全部屬性。

二、謂語（Predicates）

　　謂語用來查找某個特定的節點或者包含某個指定的值的節點。謂語被嵌在方括號中。
　　下面爲一些帶有謂語的路徑表達式，及表達式結果：chrome

路徑表達式 結果
/bookstore/book[1] 選取屬於 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()] 選取屬於 bookstore 子元素的最後一個 book 元素。
/bookstore/book[last()-1] 選取屬於 bookstore 子元素的倒數第二個 book 元素。
/bookstore/book[position()<3] 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。
//title[@lang] 選取全部擁有名爲 lang 的屬性的 title 元素。
//title[@lang=’eng’] 選取全部 title 元素，且這些元素擁有值爲 eng 的 lang 屬性。
/bookstore/book[price>35.00] 選取 bookstore 元素的全部 book 元素，且其中的 price 元素的值須大於 35.00。
/bookstore/book[price>35.00]/title 選取 bookstore 元素中的 book 元素的全部 title 元素，且其中的 price 元素的值須大於 35.00。

三、選取未知節點

　　XPath通配符可用來選取未知的XML元素。瀏覽器

通配符 描述
* 匹配任何元素節點
@* 匹配任何屬性節點
node() 匹配任何類型的節點

　　下面爲一些帶有通配符的路徑表達式，及表達式結果：網絡

路徑表達式 結果
/bookstore/* 選取 bookstore 元素的全部子元素。
//* 選取文檔中的全部元素。
//title[@*] 選取文檔中的全部元素。

四、選取若干路徑

　　經過在路徑表達式中使用「|」運算符，您能夠選取若干個路徑。
下面爲一些帶有"|"運算符的路徑表達式，及表達式結果：scrapy

路徑表達式 結果
//book/title //book/price
//title //price
/bookstore/book/title //price

五、Xpath運算符

　　下面列出了可用再XPath表達式中運算符：函數

運算符 描述 實例 返回值
計算兩個節點集 //book
+ 加法 6 + 4 10
– 減法 6 – 4 2
* 乘法 6 * 4 24
div 除法 8 div 4 2
= 等於 price=9.80 若是 price 是 9.80，則返回 true。若是 price 是 9.90，則返回 false。
!= 不等於 price!=9.80 若是 price 是 9.90，則返回 true。若是 price 是 9.80，則返回 false。
< 小於 price<9.80 若是 price 是 9.00，則返回 true。若是 price 是 9.90，則返回 false。
<= 小於或等於 price<=9.80 若是 price 是 9.00，則返回 true。若是 price 是 9.90，則返回 false。
> 大於 price>9.80 若是 price 是 9.90，則返回 true。若是 price 是 9.80，則返回 false。
>= 大於或等於 price>=9.80 若是 price 是 9.90，則返回 true。若是 price 是 9.70，則返回 false。
or 或 price=9.80 or price=9.70 若是 price 是 9.80，則返回 true。若是 price 是 9.50，則返回 false。
and 與 price>9.00 and price<9.90 若是 price 是 9.80，則返回 true。若是 price 是 8.50，則返回 false。
mod 計算除法的餘數 5 mod 2 1

六、參考文檔

scrapy xpath文檔

3、爬蟲中運用XPath

一、XPath在爬蟲中的使用流程

  1. 下載：pip install lxml
  2. 導包：from lxml import etree
  3. 建立etree對象進行指定數據的解析
    • 本地：
    etree=etree.parse('本地文件路徑')
etree.xpath('xpath表達式')
    • 網絡：
    etree=etree.HTML('網絡請求到的頁面數據')
etree.xpath('xpath表達式')

二、經常使用的Xpath表達式

屬性定位：
    #找到class屬性值爲song的div標籤
    //div[@class="song"] 
層級&索引定位：
    #找到class屬性值爲tang的div的直系子標籤ul下的第二個子標籤li下的直系子標籤a
    //div[@class="tang"]/ul/li[2]/a
邏輯運算：
    #找到href屬性值爲空且class屬性值爲du的a標籤
    //a[@href="" and @class="du"]
模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本：
    # /表示獲取某個標籤下的文本內容
    # //表示獲取某個標籤下的文本內容和全部子標籤下的文本內容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
取屬性：
    //div[@class="tang"]//li[2]/a/@href

三、使用示例

　　建立本地html文件來測試Xpath數據解析。

（1）test.html

<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>測試bs4</title>
</head>
<body>
    <div>
        <p>百里守約</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>蘇軾</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="趙匡胤" target="_self">
            <span>this is span</span>
        宋朝是最強大的王朝，不是軍隊的強大，而是經濟很強大，國民都頗有錢</a>
        <a href="" class="du">總爲浮雲能蔽日,長安不見令人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt="" />
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明時節雨紛紛,路上行人慾斷魂,借問酒家何處有,牧童遙指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山</a></li>
            <li><a href="http://www.126.com" alt="qi">岐王宅裏尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">鳳凰臺上鳳凰遊,鳳去臺空江自流,吳宮花草埋幽徑,晉代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>

（2）爬蟲腳本文件test.py

from lxml import etree

# 建立etree對象進行制定數據解析
tree = etree.parse('./test.html')    # 解析本地文件

# 屬性定位：根據指定的屬性定位到指定的節點標籤
# tree.xpath('//div[@class="song"]')
"""
[<Element div at 0x10dbead88>]
"""

# 層級&索引定位
# tree.xpath('//div[@class="tang"]/ul/li[2]/a')  # 定位到第二個li中的a標籤
"""
[<Element a at 0x10e30ab48>]
"""

# 邏輯定位  //a:整個源碼下的a標籤   
# [@href="" and @class="du"] href爲空，class屬性爲du
# tree.xpath('//a[@href="" and @class="du"]')
"""
[<Element a at 0x10e2a8e88>]
"""

# 模糊匹配
# tree.xpath('//div[contains(@class, "ng")]')
# tree.xpath('//div[starts-with(@class, "ta")]')
"""
[<Element div at 0x10dbea548>, <Element div at 0x10e392348>]
[<Element div at 0x10dabd688>]
"""

# 取文本
# /text()獲取當前標籤中直系存儲的文本數據
# tree.xpath('//div[@class="song"]/p[1]/text()')    # song的div下的第一個p子標籤
# 輸出：['李清照']

# //text()獲取tang這個div標籤下全部子標籤中存儲的文本數據
# tree.xpath('//div[@class="tang"]//text()')
"""
['\n\t\t',
 '\n\t\t\t',
 '清明時節雨紛紛,路上行人慾斷魂,借問酒家何處有,牧童遙指杏花村',
 '\n\t\t\t',
 '秦時明月漢時關,萬里長征人未還,但使龍城飛將在,不教胡馬度陰山',
 '\n\t\t\t',
 '岐王宅裏尋常見,崔九堂前幾度聞,正是江南好風景,落花時節又逢君',
 '\n\t\t\t',
 '杜甫',
 '\n\t\t\t',
 '杜牧',
 '\n\t\t\t',
 '杜小月',
 '\n\t\t\t',
 '度蜜月',
 '\n\t\t\t',
 '鳳凰臺上鳳凰遊,鳳去臺空江自流,吳宮花草埋幽徑,晉代衣冠成古丘',
 '\n\t\t',
 '\n\t']
"""

# 取屬性
tree.xpath('//div[@class="tang"]//li[2]/a/@href')  # 指定a標籤對應的href的值
"""
['http://www.163.com']
"""

4、XPath插件

　　xpath插件的做用：能夠直接將xpath表達式做用於瀏覽器的網頁當中。

一、chrome安裝xpath插件

（1）更多工具-》擴展程序-》開啓右上角開發者模式

img

（2）將xpath插件拖動到谷歌瀏覽器拓展程序（更多工具）中，安裝成功

img

二、插件使用

　　開啓和關閉xpath插件的快捷鍵：Ctrl-Shift-X (or Control-Shift-X on OS X), or click the XPath Helper button in the toolbar, to open the XPath Helper console。
　　以糗事百科爲例使用插件：

img

　　右邊方框輸出的是xpath表達式輸出的結果，這裏輸出的是div對應的數據值。
　　使用完再次點擊Control-Shift-X來關閉xpath插件。將來在程序中設計好xpath表達式以後，必定要用xpath插件作一下表達式的驗證。

5、xpath項目演練

　　需求：使用xpath對段子網中的段子內容和標題進行解析，持久化存儲。
　　段子網地址

一、先用xpath插件驗證xpath表達式

　　可用以下xpath表達式獲取全部的li標籤，段子內容和標題都被包含在li標籤中。

img

二、爬蟲代碼實現

import requests
from lxml import etree

# 1.指定url
url = 'https://ishuo.cn/joke'

# 2.發起請求
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

# 3.獲取頁面內容
page_text = response.text

# 4.數據解析
tree = etree.HTML(page_text)
# 獲取全部的li標籤（已經通過了xpath插件驗證）
li_list = tree.xpath('//div[@id="list"]/ul/li')
# print(li_list)  
'''
[<Element li at 0x10e32c248>, <Element li at 0x10e30ae88>,...,<Element li at 0x10ef5bfc8>]
# 注意：Element類型的對象能夠繼續調用xpath函數，對該對象表示的局部內容進行指定內容的解析
'''
fp = open('./duanzi.txt', 'w', encoding='utf-8')  # 一次打開屢次寫入
for li in li_list:
    content = li.xpath('./div[@class="content"]/text()')[0]  # 調用text()函數取得段子內容
    title = li.xpath('./div[@class="info"]/a/text()')[0]   # 得到a標籤文本內容
    
    # 5.持久化
    fp.write(title + ":" + content + "\n\n")  # 段子換行分隔
    print("一條數據寫入成功")

（1）li標籤內部結構

<li class="list_li xh-highlight">
    <div class="content">有位很是漂亮的女同事，有天起晚了沒有時間化妝便急忙衝到公司。結果那天她被記曠工了……吃驚]</div>
    <div class="info">
        <span class="right tags">...</span>
        <a href="/subject/5898">這個笑話好內涵，你懂了沒？</a>
        04月29日0個評論 0人喜歡
    </div>
</li>

（2）Element類型對象

　　Element類型的對象能夠繼續調用xpath函數，對該對象表示的局部內容進行指定內容的解析。
　　只要是經過xpath表達式解析出來的標籤類型的對象，對象類型必定是element類型。

tree = etree.HTML(page_text)
# 獲取全部的li標籤（已經通過了xpath插件驗證）
li_list = tree.xpath('//div[@id="list"]/ul/li')
# print(li_list)  
"""
[<Element li at 0x10e32c248>, <Element li at 0x10e30ae88>,...,<Element li at 0x10ef5bfc8>]
# 注意：Element類型的對象能夠繼續調用xpath函數，對該對象表示的局部內容進行指定內容的解析
"""

for li in li_list:
    content = li.xpath('./div[@class="content"]/text()')[0]  # 調用text()函數取得段子內容
    title = li.xpath('./div[@class="info"]/a/text()')[0]   # 得到a標籤文本內容——標題

（3）duanzi.txt文件寫入效果

img

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程