python中使用XPath

時間 2019-11-06

標籤 python 使用 xpath 欄目 Python 简体版

原文原文鏈接

XPath在Python的爬蟲學習中，起着舉足輕重的地位，對比正則表達式 re二者能夠完成一樣的工做，實現的功能也差很少，但XPath明顯比re具備優點，在網頁分析上使re退居二線。html

XPath介紹：
是什麼？全稱爲XML Path Language 一種小型的查詢語言
說道XPath是門語言，不得不說它所具有的優勢：
1）可在XML中查找信息
2）支持HTML的查找
3）經過元素和屬性進行導航python

python開發使用XPath條件：
因爲XPath屬於lxml庫模塊，因此首先要安裝庫lxml，具體的安裝過程能夠查看博客，包括easy_install 和 pip 的安裝方法。正則表達式

XPath的簡單調用方法：瀏覽器

from lxml import etree學習

selector=etree.HTML(源碼) #將源碼轉化爲能被XPath匹配的格式 測試

selector.xpath(表達式) #返回爲一列表ui

XPath的使用方法：
首先講一下XPath的基本語法知識：
四種標籤的使用方法
1) // 雙斜槓定位根節點，會對全文進行掃描，在文檔中選取全部符合條件的內容，以列表的形式返回。
2) / 單斜槓尋找當前標籤路徑的下一層路徑標籤或者對當前路標籤內容進行操做
3) /text() 獲取當前路徑下的文本內容
4) /@xxxx 提取當前路徑下標籤的屬性值
5) | 可選符使用|可選取若干個路徑如//p | //div 即在當前路徑下選取全部符合條件的p標籤和div標籤。
6) . 點用來選取當前節點
7) .. 雙點選取當前節點的父節點
另外還有starts-with(@屬性名稱,屬性字符相同部分)，string(.)兩種重要的特殊方法後面將重點講。url

利用實例講解XPath的使用：spa

from lxml import etree
html="""
<!DOCTYPE html>
<html>
<head lang="en">
<title>測試</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
</head>
<body>
<div id="content">
<ul id="ul">
<li>NO.1</li>
<li>NO.2</li>
<li>NO.3</li>
</ul>
<ul id="ul2">
<li>one</li>
<li>two</li>
</ul>
</div>
<div id="url">
<a href="http:www.58.com" title="58">58</a>
<a href="http:www.csdn.net" title="CSDN">CSDN</a>
</div>
</body>
</html>
"""
selector=etree.HTML(html)
content=selector.xpath('//div[@id="content"]/ul[@id="ul"]/li/text()') #這裏使用id屬性來定位哪一個div和ul被匹配使用text()獲取文本內容
for i in content:
print i
#輸出爲
NO.1
NO.2
NO.3.net

con=selector.xpath('//a/@href') #這裏使用//從全文中定位符合條件的a標籤，使用「@標籤屬性」獲取a便籤的href屬性值
for each in con:
print each
#輸出結果爲：
http:www.58.com
http:www.csdn.net

con=selector.xpath('/html/body/div/a/@title') #使用絕對路徑�20 <a href="http:www.csdn.2Fa/@title') #使用相對路徑定位二者效果是同樣的
print len(con)
print con[0]con[1]

#輸出結果爲：
2
58 CSDN

介紹XPath的特殊用法：
1) starts-with 解決標籤屬性值以相同字符串開頭的狀況

舉例說明

from lxml import etree html=""" <body> <div id="aa">aa</div> <div id="ab">ab</div> <div id="ac">ac</div> </body> """ selector=etree.HTML(html) content=selector.xpath('//div[starts-with(@id,"a")]/text()') #這裏使用starts-with方法提取div的id標籤屬性值開頭爲a的div標籤 for each in content: print each #輸出結果爲： aa ab ac

2） string(.) 標籤套標籤

html=""" <div id="a"> left <span id="b"> right <ul> up <li>down</li> </ul> east </span> west </div> """ #下面是沒有用string方法的輸出 sel=etree.HTML(html) con=sel.xpath('//div[@id="a"]/text()') for i in con: print i #輸出內容爲left west data=sel.xpath('//div[@id="a"]')[0] info=data.xpath('string(.)') content=info.replace('\n','').replace(' ','') for i in content: print i #輸出爲 所有內容

XPath提供的幾個特殊的方法：
XPath中須要取的標籤若是沒有屬性，可使用text()，posision()來識別標籤。

舉兩個簡單的例子：

from lxml import etree html=""" <div>hello <p>H</p> </div> <div>hehe</div> """ sel=etree.HTML(html) con=sel.xpath('//div[text()="hello"]/p/text()') print con[0] #H

這裏使用text()的方法來判別是哪一個div標籤

from lxml import etree html=""" <div>hello <p>H</p> <p>J</p> <p>I</p> </div> <div>hehe</div> """ sel=etree.HTML(html) con=sel.xpath('//div[text()="hello"]/p[posision()=2]/text()') print con[0] #J

另外，在XPath中可使用多重過濾方法尋找標籤，例如ul[3][@id=」a」] 這裏使用【3】來尋找第三個ul標籤而且它的id屬性值爲a

獲取XPath的方式有兩種： 1）使用以上等等的方法經過觀察找規律的方式來獲取XPath 2）使用Chrome瀏覽器來獲取在網頁中右擊->選擇審查元素（或者使用F12打開）就能夠在elements中查看網頁的html標籤了，找到你想要獲取XPath的標籤，右擊->Copy XPath 就已經將XPath路徑複製到了剪切板。