xpath， urllib

 xpath

        li_category = response.xpath("//div[@class='r-name']")    <div class="r-name"><div>       
        li_category = response.xpath("//div[contains(@class, 'r-name')]")   <div class="r-name a b"><div> 包含'r-name'的全部div

　　　　 li_category = response.xpath("//a[text()='下一頁']/@href").extract_first()  文本 = ’下一頁‘的 a 標籤的 href屬性

　　　　 li_category = response.xpath("//a[text()='關鍵字：']/../li/text()").extract_first()  .. 父級

響應的同類數據可是格式不一樣，好比

    
　　 // category1 有a標籤
　　 <div class="a">
        <a href="">aaaa</a>
    </div>
    // category2 沒有a標籤
    <div class="a">
        aaaa
    </div>

　　此時取文本能夠這樣取

response.xpath("//div[@class='a']//text()").extract().strip()

 響應的同類數據可是格式不一樣，好比

    <div class='a'>
        <a href="">aaaa</a>
    </div>

    <div class='a'>
        <a href="">aaaa2</a>
        <a href="">aaaa1</a>
    </div>
此時取文本能夠這樣取

response.xpath("//div[@class='a']/a/text").extract()

 

 

完善url

import request, urllib


a = 'http://www.xxx.com?ss=1'
b = '?kw=22'
res = urllib.parse.urljoin(a, b) # parse須要與 request一塊兒使用，框架中通常都有request
print(res) # http://www.xxx.com?kw=22