使用Xpath

使用Xpath模塊

1、選取節點

nodename     選取nodename節點的全部子節點         xpath(‘//div’)         選取了全部div節點
/            從根節點選取                        xpath(‘/div’)          從根節點上選取div節點
//           選取全部的當前節點，不考慮他們的位置    xpath(‘//div’)         選取全部的div節點
.            選取當前節點                        xpath(‘./div’)         選取當前節點下的div節點
..           選取當前節點的父節點                 xpath(‘..’)            回到上一個節點
@            選取屬性                           xpath（’//@calss’）     選取全部的class屬性

'''

ret=selector.xpath("//div")
ret=selector.xpath("/div")
ret=selector.xpath("./div")
ret=selector.xpath("//p[@id='p1']")
ret=selector.xpath("//div[@class='d1']/div/p[@class='story']")


'''
2、謂語

表達式                                         結果
xpath(‘/body/div[1]’)                     選取body下的第一個div節點
xpath(‘/body/div[last()]’)                選取body下最後一個div節點
xpath(‘/body/div[last()-1]’)              選取body下倒數第二個div節點
xpath(‘/body/div[positon()<3]’)           選取body下前兩個div節點
xpath(‘/body/div[@class]’)                選取body下帶有class屬性的div節點
xpath(‘/body/div[@class=」main」]’)         選取body下class屬性爲main的div節點
xpath(‘/body/div[@price>35.00]’)           選取body下price元素值大於35的div節點

'''

ret=selector.xpath("//p[@class='story']//a[2]")
ret=selector.xpath("//p[@class='story']//a[last()]")


'''
通配符 Xpath經過通配符來選取未知的XML元素

表達式                 結果
xpath（’/div/*’）     選取div下的全部子節點
xpath(‘/div[@*]’)    選取全部帶屬性的div節點


'''

ret=selector.xpath("//p[@class='story']/*")
ret=selector.xpath("//p[@class='story']/a[@class]")

'''
4、取多個路徑
使用「|」運算符能夠選取多個路徑

表達式                         結果
xpath(‘//div|//table’)    選取全部的div和table節點


'''

ret=selector.xpath("//p[@class='story']/a[@class]|//div[@class='d3']")
print(ret)

'''


5、Xpath軸
軸能夠定義相對於當前節點的節點集

軸名稱                      表達式                                  描述
ancestor                xpath(‘./ancestor::*’)              選取當前節點的全部先輩節點（父、祖父）
ancestor-or-self        xpath(‘./ancestor-or-self::*’)      選取當前節點的全部先輩節點以及節點自己
attribute               xpath(‘./attribute::*’)             選取當前節點的全部屬性
child                   xpath(‘./child::*’)                 返回當前節點的全部子節點
descendant              xpath(‘./descendant::*’)            返回當前節點的全部後代節點（子節點、孫節點）
following               xpath(‘./following::*’)             選取文檔中當前節點結束標籤後的全部節點
following-sibing        xpath(‘./following-sibing::*’)      選取當前節點以後的兄弟節點
parent                  xpath(‘./parent::*’)                選取當前節點的父節點
preceding               xpath(‘./preceding::*’)             選取文檔中當前節點開始標籤前的全部節點

preceding-sibling       xpath(‘./preceding-sibling::*’)     選取當前節點以前的兄弟節點
self                    xpath(‘./self::*’)                  選取當前節點
 

6、功能函數   
使用功能函數可以更好的進行模糊搜索

函數                  用法                                                               解釋
starts-with         xpath(‘//div[starts-with(@id,」ma」)]‘)                        選取id值以ma開頭的div節點
contains            xpath(‘//div[contains(@id,」ma」)]‘)                           選取id值包含ma的div節點
and                 xpath(‘//div[contains(@id,」ma」) and contains(@id,」in」)]‘)    選取id值包含ma和in的div節點
text()              xpath(‘//div[contains(text(),」ma」)]‘)                        選取節點文本包含ma的div節點

Element對象

class xml.etree.ElementTree.Element(tag, attrib={}, **extra)

　　tag：string，元素表明的數據種類。
　　text：string，元素的內容。
　　tail：string，元素的尾形。
　　attrib：dictionary，元素的屬性字典。
　　
　　＃針對屬性的操做
　　clear()：清空元素的後代、屬性、text和tail也設置爲None。
　　get(key, default=None)：獲取key對應的屬性值，如該屬性不存在則返回default值。
　　items()：根據屬性字典返回一個列表，列表元素爲(key, value）。
　　keys()：返回包含全部元素屬性鍵的列表。
　　set(key, value)：設置新的屬性鍵與值。

　　＃針對後代的操做
　　append(subelement)：添加直系子元素。
　　extend(subelements)：增長一串元素對象做爲子元素。＃python2.7新特性
　　find(match)：尋找第一個匹配子元素，匹配對象能夠爲tag或path。
　　findall(match)：尋找全部匹配子元素，匹配對象能夠爲tag或path。
　　findtext(match)：尋找第一個匹配子元素，返回其text值。匹配對象能夠爲tag或path。
　　insert(index, element)：在指定位置插入子元素。
　　iter(tag=None)：生成遍歷當前元素全部後代或者給定tag的後代的迭代器。＃python2.7新特性
　　iterfind(match)：根據tag或path查找全部的後代。
　　itertext()：遍歷全部後代並返回text值。
　　remove(subelement)：刪除子元素。

 

 

def get_page(url):
    import requests
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}
    response = requests.get(url,headers=headers)
    return response.text

def page_parse(response):
    from lxml import etree
    tree = etree.HTML(response)
    title_list = tree.xpath('//div[@class="title"]/a/text()')
    detail_list = tree.xpath('//div[@class="houseInfo"]/text()')
    price_list = [price.xpath('string(.)') for price in tree.xpath('//div[@class="totalPrice"]')]
    msg_list =[]
    for i in range(len(title_list)):
        dic = {"title":title_list[i],"detail":detail_list[i],"price":price_list[i]}
        msg_list.append(dic)
    return msg_list

def save_data(argv):
    import json
    with open("lianjie.txt",'a',encoding='utf-8') as f:
        for i in argv:
            f.write(json.dumps(i,ensure_ascii=False)+"\n")


def mycrawler():
    from concurrent.futures import ThreadPoolExecutor
    p = ThreadPoolExecutor(5)
    l = []
    for i in range(1,11):
        url =  "https://sz.lianjia.com/ershoufang/pg%srs南山區/"%i
        response = p.submit(get_page, url)
        l.append(response.result())
    for k in l:
        msg_list = page_parse(k)
        save_data(msg_list)
    print("done")


def main():
    mycrawler()



if __name__ == '__main__':
    main()

爬取鏈家網