利用python腳本（xpath）抓取數據

時間 2019-11-06

原文原文鏈接

有人會問re和xpath是什麼關係？若是你瞭解js與jquery，那麼這個就很好理解了。html

# -*- coding:utf-8 -*-
from lxml import etree

html = """
    <!DOCTYPE html>
    <html>
        <head lang="en">
        <title>個人文檔</title>
        <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
        </head>
        <body>
            <div id="cctv">
                <div class="content">
                    <ul id="ul">
                        <li>NO.1</li>
                        <li>NO.2</li>
                        <li>NO.3</li>
                    </ul>
                    <ul id="ul2">
                        <li><span class="ctv">one</span></li>
                        <li><span class="ctv">two</span></li>
                    </ul>
                </div>
                <div id="url">
                    <a href="http://www.jd.com" title="jd">jd</a>
                    <a href="http://www.360buy.com" title="360buy">360buy</a>
                </div>
            </div>
        </body>
    </html>
"""
selector = etree.HTML(html)

# ########### example 1 ############
# 這裏使用id屬性來定位哪一個div和ul被匹配 使用text()獲取文本內容
# 這裏注意要層層匹配
# content = selector.xpath('//div[@id="cctv"]/div[@class="content"]/ul[@id="ul"]/li/text()')
# content = selector.xpath('//div[@id="cctv"]/div[@class="content"]/ul[@id="ul2"]/li/span[@class="ctv"]/text()')
content = selector.xpath('//a/@href')

for i in content:
    print(i)
print(u"************ 華麗分割符1 ************")

# ########### example 2 ############
# 使用絕對路徑定位a標籤的title
con = selector.xpath('/html/body/div/a/@title')
# 使用相對路徑定位 二者效果是同樣的
con = selector.xpath('//a/@title')
print(len(con))
print(con[0], con[1])
print(u"************ 華麗分割符2 ************")

# ########### example 3 ############
# starts-with 解決標籤屬性值以相同字符串開頭的狀況
con2 = selector.xpath('//span[starts-with(@class,"c")]/text()')  # 這裏使用starts-with方法提取div的id標籤屬性值開頭爲a的div標籤
for i in con2:
    print(i)
print(u"************ 華麗分割符3 ************")

# string(.) 標籤套標籤
html2 = '''
   <div id="a">
       left
        <span id="b">
           right
            <ul>
               up
                <li>down</li>
            </ul>
           east
        </span>
        west
    </div>
'''

# 下面是沒有用string方法的輸出
selector2 = etree.HTML(html2)
con3 = selector2.xpath('//div[@id="a"]/text()')
for i in con3:
    print(i)
print(u"************ 華麗分割符4 ************")

# 下面使用string方法的輸出
data = selector2.xpath('//div[@id="a"]')
# info = data[0].xpath('string(.)').extract()[0]
info = data[0].xpath('string(.)')
con4 = info.replace('\n', '').replace(' ', '')
for i in con4:
    # python 輸出結果默認是\n，換行，將結尾替換掉便可實現不換行。
    print(i, end='')
print("\r")
print(u"************ 華麗分割符5 ************")

# ########### example 4 ############
html3 = """
    <div>hello
        <p>H</p>
    </div>
    <div>hehe</div>
"""
selector3 = etree.HTML(html3)
# 使用text()的方法來判別是哪一個div標籤
con5 = selector3.xpath('//div[text()="hehe"]/text()')
print(con5[0])
print(u"************ 華麗分割符6 ************")

# ########### example 5 ############
html4 = """
    <div id="utv">hello
        <p>H</p>
        <p>J</p>
        <p>I</p>
    </div>
    <div>hehe</div>
"""
selector4 = etree.HTML(html4)
# 在XPath中能夠使用多重過濾方法尋找標籤，例如ul[3][@id=」a」] 這裏使用【3】來尋找第三個ul標籤 而且它的id屬性值爲a
con6 = selector4.xpath('//div/p[position()>=2]/text()')
for i in con6:
    print(i)
print(u"************ 華麗分割符7 ************")

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。