你要偷偷的學Python，而後驚呆全部人（第十四天）

 

標題無心冒犯，就是以爲這個廣告挺好玩的

文章目錄

• 前言
• 歡迎來到咱們的圈子
• Xpath
• Xpath基本語法截取
• 路徑表達式
• 路徑表達式栗子
• 選取節點後面的下標
• 選取未知節點，通配符
• 實例
• 選取若干路徑
• 學習案例：抓取百度貼吧->王者榮耀吧的評論
• Xpath經常使用函數及用例
• 標籤補全
• 獲取全部節點
• 根據屬性獲取
• 獲取父節點
• 獲取文本信息
• 屬性多值匹配
• 根據順序選擇
• XPath 軸

前言

前期回顧：你要偷偷學Python（第十三天）

今天咱們來看別人口中「永遠滴神」 – Xpath

我也不知道爲何被稱做永遠滴神，可是我知道確定不是由於它難。

---

插播一條推送：（若是是小白的話，能夠看一下下面這一段）

歡迎來到咱們的圈子

 我建了一個Python學習答疑羣，有興趣的朋友能夠了解一下：若是你們在學習中遇到困難，想找一個python學習交流環境，能夠加入咱們的python圈，裙號1160381299，可領取python學習資料，會節約不少時間，減小不少遇到的難題。

本系列文默認各位有必定的C或C++基礎，由於我是學了點C++的皮毛以後入手的Python。

本系列文默認各位會百度，學習‘模塊’這個模塊的話，仍是建議你們有本身的編輯器和編譯器的，上一篇已經給你們作了推薦啦？

而後呢，本系列的目錄嘛，說實話我我的比較傾向於那兩本 Primer Plus，因此就跟着它們的目錄結構吧。

本系列也會着重培養各位的自主動手能力，畢竟我不可能把全部知識點都給你講到，因此本身解決需求的能力就尤其重要，因此我在文中埋得坑請不要把它們當作坑，那是我留給大家的鍛鍊機會，請各顯神通，自行解決。

Xpath

咱們剛開始接觸Xpath是何時？對，selenium的時候，那時候咱們抓不下標籤，就轉方向從Xpath入手。

那麼這個Xpath究竟是個什麼東西居然如此的神通廣大？

XPath即爲XML路徑語言（XML Path Language），它是一種用來肯定XML文檔中某部分位置的語言。

也很少嗶嗶，就知道Xpath是網頁內容的導航就好。

Xpath基本語法截取

如下內容部分出自百度百科，截取適用於爬蟲的部分。
畢竟人家都整理好了，咱也難出其右。

路徑表達式

選取節點 XPath 使用路徑表達式在 XML 文檔中選取節點。節點是經過沿着路徑或者 step 來選取的。 [1]
下面列出了最有用的路徑表達式：

 

路徑表達式栗子

 

選取節點後面的下標

 

選取未知節點，通配符

 

實例

 

選取若干路徑

 

學習案例：抓取百度貼吧->王者榮耀吧的評論

找的時候是一篇僞代碼，我作了微調，加了點註釋。
也能夠本身去調試一遍，本身動手的話印象會比較深入。

# element tree: 文檔樹對象

import requests

from lxml import etree

# 爬取百度貼吧數據

class Tieba(object):

def __init__(self,key):

self.url = "https://tieba.baidu.com/"+key #動態url，理論上能夠獲取任一貼吧的網頁

#print(self.url)

self.headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"

}

# 獲取數據

def get_data(self, url):

response = requests.get(url, headers=self.headers)

return response.content #以二進制形式返回（大能夠用text去試一下，返回文本形式）

# 數據提取

def parse_data(self, data):

# 解碼，並刪除源代碼中的註釋

data = data.decode().replace("<!--", "").replace("-->", "")

# 建立element對象

html = etree.HTML(data)

# 根據xpath語法提取每頁標題對象的貼吧標題xpath對象

# 關於這個xpath是如何肯定的，代碼後面會放上一張圖，本身悟一下

el_list = html.xpath("//li[@class=' j_thread_list clearfix']/div/div[2]/div[1]/div[1]/a")

print(el_list)

# 遍歷每頁的貼吧標題xpath對象

data_list = []

for el in el_list:

# 根據每一個xpath對象獲取每一個標題的titile屬性和link屬性

temp = {}

temp["title"] = el.xpath("./text()")[0] #取第一個文本

temp["link"] = "http://tieba.baidu.com" + el.xpath("./@href")[0] #同

# 將每一個標題屬性字典添加到列表中

data_list.append(temp)

# 獲取下一頁url

try:

next_url = "https:" + html.xpath('//a[contains(text(),"下一頁>")]/@href')[0] #contains()函數，後面講

except:

next_url = None

# 返回每頁的標題屬性字典和下一頁的url

return data_list, next_url

# 保存 僞代碼

def save_data(self, data_list):

for data in data_list:

print(data)

# 運行

def run(self):

# 第一次的url是self.url

next_url = self.url

# 實現翻頁 直到next_url == None 結束翻頁

while True:

# 發送請求，獲取響應

data = self.get_data(next_url)

# 從響應中提取數據（數據和翻頁用的url）

data_list, next_url = self.parse_data(data)

self.save_data(data_list)

print(next_url)

# 判斷是否結束

if next_url == None:

break

if __name__ == '__main__':

tieba = Tieba("f?kw=王者榮耀")

tieba.run() #函數入口

 

Xpath經常使用函數及用例

如下皆爲僞代碼，測試文件木有，留着當工具書使用

標籤補全

from lxml import etree

text = '''

<div>

<ul>

<li class="item-0"><a href="www.baidu.com">baidu</a>

<li class="item-1"><a href="https://blog.csdn.net/qq_25343557">myblog</a>

<li class="item-2"><a href="https://www.csdn.net/">csdn</a>

<li class="item-3"><a href="https://hao.360.cn/?a1004">hao123</a>

'''

html = etree.HTML(text)

result = etree.tostring(html)

print(result.decode('UTF-8'))

獲取全部節點

html = etree.parse('./test.html',etree.HTMLParser())

result = html.xpath('//*')#'//'表示獲取當前節點子孫節點，'*'表示全部節點，'//*'表示獲取當前節點下全部節點

for item in result:

print(item)

result = html.xpath('//li')#將*改成li，表示只獲取名稱爲li的子孫節點

#返回一個列表

for item in result:

print(item)

result = html.xpath('//li/a')#//li選擇全部的li節點，/a選擇li節點下的直接子節點a

for item in result:

print(item)

咱們也可使用//ul//a首先選擇全部的ul節點，再獲取ul節點下的的全部a節點，最後結果也是同樣的。可是使用//ul/a就不行了，首先選擇全部的ul節點，再獲取ul節點下的直接子節點a，然而ul節點下沒有直接子節點a，固然獲取不到。須要深入理解//和/的不一樣之處。/用於獲取直接子節點，//用於獲取子孫節點。

根據屬性獲取

根據XPath經常使用規則能夠經過@匹配指定的屬性。咱們經過class屬性找最後一個li節點。

result = html.xpath('//li[@class="item-3"]')#最後一個li的class屬性值爲item-3,返回列表形式

print(result)

獲取父節點

根據XPath經常使用規則能夠經過…獲取當前節點的父節點。如今我要獲取最後一個a節點的父節點下的class屬性。

result = html.xpath('//a[@href="https://hao.360.cn/?a1004"]/../@class')

#a[@href="https://hao.360.cn/?a1004"]：選擇href屬性爲https://hao.360.cn/?a1004的a節點

#..:選取父節點

#@class:選取class屬性，獲取屬性值

print(result)

獲取文本信息

不少時候咱們找到指定的節點都是要獲取節點內的文本信息。咱們使用text()方法獲取節點中的文本。如今獲取全部a標籤的文本信息。

result = html.xpath('//ul//a/text()')

print(result)

屬性多值匹配

在上面的例子中全部的屬性值都只有一個，若是屬性值有多個還能匹配的上嗎？（上面代碼裏面翻頁看不懂的注意了啊）

遇到屬性值有多個的狀況咱們須要使用contains()函數了，contains()匹配一個屬性值中包含的字符串 。包含的字符串，而不是某個值。

from lxml import etree

text = '''

<div>

<ul>

<li class="item-0"><a href="www.baidu.com">baidu</a>

<li class="spitem-1"><a href="https://blog.csdn.net/qq_25343557">myblog</a>

<li class="item-2"><a href="https://www.csdn.net/">csdn</a>

<li class="item-3"><a href="https://hao.360.cn/?a1004">hao123</a>

'''

html = etree.HTML(text)

result = html.xpath('//li[contains(@class,"item-0") and @name="one"]/a/text()')#使用and操做符將兩個條件相連。

print(result)

也許你會說這個直接使用name的屬性值就能夠獲得了，然而，這裏只是做爲演示。

根據順序選擇

在上面的操做中我屢次找第2個li節點或找最後一個li節點，使用屬性值進行匹配。其實何須呢！咱們能夠根據順序進行選擇。

result = html.xpath('//li[2]/a/text()')#選擇第二個li節點，獲取a節點的文本

result = html.xpath('//li[last()]/a/text()')#選擇最後一個li節點，獲取a節點的文本

result = html.xpath('//li[last()-1]/a/text()')#選擇倒數第2個li節點，獲取a節點的文本

result = html.xpath('//li[position()<=3]/a/text()')#選擇前三個li節點，獲取a節點的文本

函數太多了，感受我這裏的函數知足不了你的話能夠移步：https://www.w3school.com.cn/xpath/index.asp

XPath 軸

咱們能夠經過XPath獲取祖先節點，屬性值，兄弟節點等等，這就是XPath的節點軸。軸可定義相對於當前節點的節點集。

result = html.xpath('//li[1]/ancestor::*')

#ancestor表示選取當前節點祖先節點，*表示全部節點。合：選擇當前節點的全部祖先節點。

result = html.xpath('//li[1]/ancestor::div')

#ancestor表示選取當前節點祖先節點，div表示div節點。合：選擇當前節點的div祖先節點。

result = html.xpath('//li[1]/ancestor-or-self::*')

#ancestor-or-self表示選取當前節點及祖先節點，*表示全部節點。合：選擇當前節點的全部祖先節點及本及自己。

result = html.xpath('//li[1]/attribute::*')

#attribute表示選取當前節點的全部屬性，*表示全部節點。合：選擇當前節點的全部屬性。

result = html.xpath('//li[1]/attribute::name')

#attribute表示選取當前節點的全部屬性，name表示name屬性。合：選擇當前節點的name屬性值。

result = html.xpath('//ul/child::*')

#child表示選取當前節點的全部直接子元素，*表示全部節點。合：選擇ul節點的全部直接子節點。

result = html.xpath('//ul/child::li[@name="two"]')

#child表示選取當前節點的全部直接子元素，li[@name="two"]表示name屬性值爲two的li節點。合：選擇ul節點的全部name屬性值爲two的li節點。

result = html.xpath('//ul/descendant::*')

#descendant表示選取當前節點的全部後代元素（子、孫等），*表示全部節點。合：選擇ul節點的全部子節點。

result = html.xpath('//ul/descendant::a/text()')

#descendant表示選取當前節點的全部後代元素（子、孫等），a/test()表示a節點的文本內容。合：選擇ul節點的全部a節點的文本內容。

result = html.xpath('//li[1]/following::*')

#following表示選取文檔中當前節點的結束標籤以後的全部節點。，*表示全部節點。合：選擇第一個li節點後的全部節點。

result = html.xpath('//li[1]/following-sibling::*')

#following-sibling表示選取當前節點以後的全部同級節點。，*表示全部節點。合：選擇第一個li節點後的全部同級節點。

result = html.xpath('//li[1]/parent::*')

#選取當前節點的父節點。父節點只有一個，祖先節點可能多個。

result = html.xpath('//li[3]/preceding::*')

#preceding表示選取文檔中當前節點的開始標籤以前的全部同級節點及同級節點下的節點。，*表示全部節點。合：選擇第三個li節點前的全部同級節點及同級節點下的子節點。

result = html.xpath('//li[3]/preceding-sibling::*')

#preceding-sibling表示選取當前節點以前的全部同級節點。，*表示全部節點。合：選擇第三個li節點前的全部同級節點。

result = html.xpath('//li[3]/self::*')

#選取當前節點。

弄完這個，接下來就試試看能不能用Xpath將騰訊校園招聘網的數據抓取下來整理起來咯。

 

最後多說一句，想學習Python可聯繫小編，這裏有我本身整理的整套python學習資料和路線，想要這些資料的均可以進q裙1160381299領取。

本文章素材來源於網絡，若有侵權請聯繫刪除。