Python 爬蟲 —— 網頁內容解析（lxml）

0. xpath 語法

• 找到全部 <img src=....> 圖像的連接：

  xpath = './/img/@src'
  img_urls = html.xpath(xpath)

  • @修飾節點的屬性；

1. lxml

from lxml import etree

• etree 下的 HTML 對象，其構造函數接受 requests.request 的返回值對象：

  url = ...
  user_agent = ...
  headers = {'User-Agent' : user_agent}
  req = requests.request(url=url, headers=headers)
  
  html = etree.HTML(req.text)

2. 方法

xpath定位中starts-with、contains和text()的用法

• starts-with
  
  • //input[starts-with(@name, ‘name1’)]：查找name屬性中開始位置包含’name1’關鍵字的 input 元素
• contains
  
  • //input[contains(@name,’na’)] 查找name屬性中包含na關鍵字的input元素
• text()
  
  • 百度搜索
  • xpath寫法爲 //a[text()=’百度搜索’] ，//a[contains(text(),」百度搜索」)]