CSS選擇器：BeautifulSoup4
和lxml同樣，Beautiful Soup也是一個HTML/XML的解析器，主要的功能也是如何解析和提取HTML/XML數據。css
lxml只會局部遍歷，而Beautiful Soup是基於HTML DOM的，會載入整個文檔，解析整個DOM樹，所以時間和內存開銷都會大不少，因此性能要低於lxml。
BeautifulSoup用來解析HTML比較簡單，API很是人性化，支持CSS選擇器、Python標準庫中的HTML解析器，也支持lxml的XML解析器。
Beautiful Soup3目前已經中止開發，推薦如今的項目使用Beautiful Soup。使用pip安裝便可：pip install beautifulsoup4html
官方文檔： http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0
|抓取工具|速度|使用難道|安裝難度|
|---|---|--|----|
|正則|最快|困難|無(內置)|
|BeautifulSoup|慢|最簡單|簡單|
|lxml|快|簡單|通常|python
實例：
首先必需要導入bs4庫正則表達式
# 07-urllib2_beautipulsoup_prettify from bs4 import BeautifulSoup html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ #建立 Beautiful Soup 對象 soup = BeautifulSoup(html) #打開本地 HTML 文件的方式來建立對象 #soup = BeautifulSoup(open('index.html')) #格式化輸出 soup 對象的內容 print soup.prettify()
- 若是咱們在IPython2下執行，會看到這樣一段警告：
- 意思是，若是咱們沒有顯示地指定解析器，因此默認使用這個系統的最佳可用HTML解析器("lxml")。若是你在另外一個系統中運行這段代碼，或者在不一樣的虛擬環境中，使用不一樣的解析器形成行爲不一樣。
- 可是咱們能夠經過
soup = BeautifulSoup(html, "lxml")
四大對象種類
Beautiful Soup將複雜HTML文檔轉換成一個複雜的樹形結構，每一個節點都是Python對象，全部對象能夠概括爲4種：markdown
- Tag
- NaviganleString
- BeautifulSoup
- Comment
1.Tag
Tag通俗點講就是HTM中的一個個標籤，例如：工具
<head><title>The Dormouse's story</title></head> <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a> <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
上面的title、head、a、p等等標籤上加上裏面包括的內容就是Tag,那麼試着使用Beautiful Soup來獲取Tagspost
#-*- coding:utf-8 -*- #08-urllib2_beautifulsoup_tag.py from bs4 import BeautifulSoup html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ #建立Beautiful Soup對象 soup = BeautifulSoup(html) print soup.title #<title>The Dormouse's story</title> print soup.a #<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a> print soup.p #<p class="title" name="dromouse"><b>The Dormouse's story</b></p> print type(soup.p) # <class 'bs4.element.Tag'>
咱們能夠利用 soup 加標籤名輕鬆地獲取這些標籤的內容，這些對象的類型是bs4.element.Tag。可是注意，它查找的是在全部內容中的第一個符合要求的標籤。若是要查詢全部的標籤，後面會進行介紹。性能
對於Tag,它有兩個重要的屬性，是name和attrsurl
print soup.name #[document] #soup對象自己比較特殊，它的name即爲[document] print soup.head.name #head #對於其餘內部標籤，輸出的值便爲標籤自己的名稱 print soup.p.attrs #{'class':['title'], 'name':'dromouse'} #在這裏，咱們把p標籤的全部屬性打印出來，獲得的類型是一個字典 print soup.p['class'] #soup.p.get('class') #['title'] #還能夠利用get方法，傳入屬性的方法，兩者是等價的。 soup.a['class'] = 'newClass' print soup.p #能夠對這些屬性和內容等等進行修改 # <p class="newClass" name="dromouse"><b>The Dormouse's story</b></p> del soup.p['class'] #還能夠對這個屬性進行刪除 print soup.p # <p name="dromouse"><b>The Dormouse's story</b></p>
2. NavigableString
既然咱們已經獲得了標籤的內容，那麼問題來了，咱們要想獲取標籤內部的文字怎麼辦呢？很簡單，用.string便可，例如spa
print soup.p.string #The Dormouse's story print type(soup.p.string) <class 'bs4.element.NavigableString'>
3. BeautifulSoup
BeautifulSoup對象表示的是一個文檔的內容。大部門時候，能夠用它當作Tag對象，是一個特殊的Tag，咱們能夠分別獲取它的類型，名稱，以及屬性來感覺一下。
print type(soup.name) #<type 'unicode'> print soup.name #[document] print soup.attrs #文檔自己的屬性爲空 #{}
4. Comment
Comment對象時一個特殊類型的NavigableString對象，其輸出的內容不包括註釋符號。
print soup.a # <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a> print soup.a.string #Elsie print type(soup.a.string) # <class 'bs4.element.Comment'>
a標籤裏的內容其實是註釋，可是若是咱們利用.string來輸出它的內容時，註釋符號已經去掉了。
遍歷文檔樹
1.直接子節點：.contents .children屬性
.content
tag的.content屬性能夠將tag的子節點以列表的方式輸出。
print soup.head.contents #[<title>The Dormouse's story</title>]
輸出方式爲列表，咱們能夠用列表索引來獲取它的某一個元素
print soup.head.contents[0] #<title>The Dormouse's story</title>
.children
它返回的不是一個list,不過咱們能夠經過遍歷獲取全部子節點。
咱們打印輸出.children看一下，能夠發現他是一個list生成器對象。
print soup.head.children #<listiterator object at 0x7f71457f5710> for child in soup.body.children: print child
結果：
<p class="title" name="dromouse"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p>
2. 全部子孫節點：.descendants屬性
.contents和.children屬性僅包含tag的直接子節點，.descendants屬性能夠對全部tag的子孫節點進行遞歸循環，和.children相似，咱們也須要遍歷獲取其中的內容。
for child in soup.descendants: print child
3. 節點內容：.string屬性
若是tag只有一個NavigableString類型子節點，那麼這個tag能夠使用.string獲得子節點。若是一個tag僅有一個子節點，那麼這個tag也能夠使用.string，輸出結果與當前惟一子節點的.string結果相同。
通俗點講就是：若是一個標籤裏面沒有標籤了，那麼.string就會返回標籤裏面的內容。若是標籤裏面只有惟一的一個標籤了，那麼.string也會返回最裏面的內容。例如:
print soup.head.string #The Dormouse's story print soup.title.string #The Dormouse's story
搜索文檔樹
1. find_all(name, attrs, recursive, text, **kwargs)
1) name參數
name參數能夠查找全部民資爲name的tag，字符串對象會自動忽略掉。
A.傳字符串
最簡單的過濾器是字符串，在搜索方法中傳入一個字符串參數，eautiful Soup會自動查找與字符串完整匹配的內容，下面的例子用於查找文檔中全部的標籤：
soup.find_all('b') #[<b>The Dormouse's story</b>] print soup.find_all('a') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
B.傳正則表達式
若是傳入正則表達式做爲參數，Beautiful Soup會經過正則表達式的match()來匹配內容。下面例子中找出全部以b開頭的標籤，這表示<body>和<b>標籤都應該被找到。
import re for tag in soup.find_all(re.compile('^b')): print(tag.name) #body #b
C.傳列表
若是傳入列表參數，Beautiful Soup會將與列表中任一元素匹配的內容返回 下面代碼找到文檔中全部<a>標籤和<b>標籤：
soup.find_all(['a', 'b']) # [<b>The Dormouse's story</b>, # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
2) keyword參數
soup.find_all(id='link2') # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
3) text參數
經過text參數能夠搜索文檔中的字符串內容，與name參數的可選值同樣，text參數接收參數值，正則表達式，列表
soup.find_all(text='Elsie') #[u'Elsie'] soup.find_all(text=['Tillie', 'Elsie', 'Lacie']) # [u'Elsie', u'Lacie', u'Tillie'] soup.find_all(text=re.compile("Dormouse")) [u"The Dormouse's story", u"The Dormouse's story"]
CSS選擇器
這就是另外一種與 find_all 方法有殊途同歸之妙的查找方法.
- 寫 CSS 時，標籤名不加任何修飾，類名前加.，id名前加#
- 在這裏咱們也能夠利用相似的方法來篩選元素，用到的方法是
soup.select()，返回類型是list