python爬蟲網頁解析之lxml模塊

08.06自我總結

python爬蟲網頁解析之lxml模塊

一.模塊的安裝

windows系統下的安裝：

方法一:pip3 install lxml

方法二:下載對應系統版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl #文件所在的路徑

linux下安裝：

方法一:pip3 install lxml

方法二:yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

二.模塊的使用

from lxml.html import etree

演示

import requests
from lxml.html import etree

rp = requests.get('http://www.baidu.com')
html = etree.HTML(rp.text)
#解析後的對象能夠使用xpath進行內容匹配

xpath的路徑寫法