一 什麼是BeautifulSoup
簡單來講，Beautiful Soup是python的一個庫，最主要的功能是從網頁抓取數據。html
官方解釋以下：
Beautiful Soup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，經過解析文檔爲用戶提供須要抓取的數據，由於簡單，因此不須要多少代碼就能夠寫出一個完整的應用程序。html5
Beautiful Soup 是一個能夠從HTML或XML文件中提取數據的Python庫。它可以經過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式。因此須要配合解析器一塊兒使用！python
Beautiful Soup會幫你節省數小時甚至數天的工做時間.你可能在尋找 Beautiful Soup3 的文檔,Beautiful Soup 3 目前已經中止開發,官網推薦在如今的項目中使用Beautiful Soup 4。瀏覽器
解析器:
Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器，若是咱們不安裝它，則 Python 會使用 Python默認的解析器，lxml 解析器更增強大，速度更快，推薦安裝另外一個可供選擇的解析器是純Python實現的 html5lib , html5lib的解析方式與瀏覽器相同。cookie
解析器對比： 官方文檔ide
# 安裝 Beautiful Soup pip3 install beautifulsoup4 #安裝解析器 ''' Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器,其中一個是 lxml .根據操做系統不一樣,能夠選擇下列方法來安裝lxml: apt-get install Python-lxml pip3 install lxml 另外一個可供選擇的解析器是純Python實現的 html5lib , html5lib的解析方式與瀏覽器相同,能夠選擇下列方法來安裝html5lib: apt-get install Python-html5lib pip3 install html5lib '''
二 爲何要用BeautifulSoup？
BeautifulSoup能給咱們提供一些列查找文檔樹的方法，使咱們能快速定位到咱們想要爬取的數據。咱們再回想一下以前學的一個re模塊，它能夠全局查找咱們想要的文本，從文本開頭到結束開始匹配，而後經過貪婪匹配，再經過非貪婪匹配拿到須要的數據，整個過程是否是很是繁瑣，而卻搜索效率極低！函數
BeautifulSoup內既封裝了re，還爲咱們提供了一些更增強大、高效的功能，使咱們能夠快速匹配到咱們想要的數據，提升爬取效率和開發效率。工具
三 安裝
一、安裝
# 安裝BeautifulSoup4 pip3 install beautifulsoup4 # 安裝解析器 # 根據官網解釋，推薦使用lxml pip3 install lxml
四 怎麼使用
一、基本使用
注意: 如何初始文本內有換行，也會算在裏面。（坑）
html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="sister"><b>$37</b></p> <p class="story" id="p">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" >Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ from bs4 import BeautifulSoup # 第一個參數是解析文本 # 第二個參數是解析器 soup = BeautifulSoup(html_doc, 'lxml') # 具有自動補全html標籤功能 print(soup) # 美化html便籤 html_doc = soup.prettify() print(html_doc)
二、遍歷文檔樹
''' 一、直接使用 二、獲取標籤的名稱 三、獲取標籤的屬性 四、獲取標籤的內容 五、嵌套選擇 六、子節點、子孫節點 七、父節點、祖先節點 八、兄弟節點 '''
from bs4 import BeautifulSoup # 注意: 如何初始文本內有換行，也會算在裏面。（坑） html_doc = """ <html><head><title>The Dormouse's story</title></head><body><p class="sister"><b>$37</b></p><p class="story" id="p">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" >Elsie</a><a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>and they lived at the bottom of a well.</p><p class="story">...</p> """ # 第一個參數是解析文本 # 第二個參數是解析器 soup = BeautifulSoup(html_doc, 'lxml') # 具有自動補全html標籤功能 # print(soup) # 美化html便籤 html_doc = soup.prettify() # print(html_doc) # soup = BeautifulSoup(html_doc, 'lxml') # 一、直接選擇標籤（返回的是一個對象） print(soup.a) # 獲取第一個a標籤 print(soup.p) # 獲取第一個p標籤 print(type(soup.a)) # <class 'bs4.element.Tag'> # 二、獲取標籤的名稱 print(soup.a.name) # 獲取a標籤的名字 # 三、獲取標籤的屬性 print(soup.a.attrs) # 獲取a標籤內全部的屬性 # 四、獲取標籤的內容 print(soup.a.attrs['href']) # 獲取a標籤內的href屬性 # 五、嵌套選擇標籤 print(soup.p.b) # 獲取第一個p標籤內的b標籤 print(soup.p.b.text) # 打印b標籤內的文本 # 六、子節點、子孫節點 # 獲取子節點 print(soup.p.children) # 獲取第一個p標籤全部的子節點，返回的是一個迭代器 print(list(soup.p.children)) # list轉成列表 # 獲取子孫節點 print(soup.body.descendants) # 獲取body標籤內全部的子孫節點，返回的是一個生成器 print(list(soup.body.descendants)) # list轉成列表 # 獲取第一個p標籤中全部的內容，返回的是一個列表 print(soup.p.contents) # 七、父節點、祖先節點 # 獲取父節點 print(soup.a.parent) # 獲取第一個a標籤內的父節點 # 獲取祖先節點（爸爸，爸爸的爸爸，爸爸的爸爸的爸爸...以此類推） print(list(soup.a.parents)) # 獲取第一個a標籤的祖先節點，返回的是一個生成器 print('*' * 1000) # 八、兄弟節點 （sibling: 兄弟姐妹） print(soup.a) # 獲取下一個兄弟節點 print(soup.a.next_sibling) # 獲取下一個的全部兄弟節點,返回的是一個生成器 print(soup.a.next_siblings) print(list(soup.a.next_siblings)) # 獲取上一個兄弟節點 print(soup.a.previous_sibling) # 獲取上一個的全部兄弟節點，返回的是一個生成器 print(list(soup.a.previous_siblings))
三、搜索文檔樹
BeautifulSoup定義了不少搜索方法，這裏着重介紹2個：find() 和 find_all() 。其它方法的參數和用法相似！post
''' 標籤查找與屬性查找: 標籤: - 字符串過濾器 字符串全局匹配 name 屬性匹配 attrs 屬性查找匹配 text 文本匹配 - 正則過濾器 re模塊匹配 - 列表過濾器 列表內的數據匹配 - bool過濾器 True匹配 - 方法過濾器 用於一些要的屬性以及不須要的屬性查找。 屬性: - class_ - id '''
from bs4 import BeautifulSoup import re # 注意: 如何初始文本內有換行，也會算在裏面。（坑） html_doc = """ <html><head><title>The Dormouse's story</title></head><body><p class="sister"><b>$37</b></p><p class="story" id="p">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" >Elsie</a><a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>and they lived at the bottom of a well.</p><p class="story">...</p> """ # 第一個參數是解析文本 # 第二個參數是解析器 soup = BeautifulSoup(html_doc, 'lxml') ''' 標籤查找與屬性查找: 標籤: - 字符串過濾器 字符串全局匹配 name 屬性匹配 attrs 屬性查找匹配 text 文本匹配 - 正則過濾器 re模塊匹配 - 列表過濾器 列表內的數據匹配 - bool過濾器 True匹配 - 方法過濾器 用於一些要的屬性以及不須要的屬性查找。 屬性: - class_ - id ''' # 一、字符串 # find的默認參數 第一個是name、第二個是attrs、第四個是text # name: 根據標籤名匹配節點 print(soup.find('p')) # 獲取第一個p標籤 print(soup.find_all(name='p')) # 獲取全部的p標籤 # attrs: 根據屬性查找匹配節點 print(soup.find(attrs={'id': 'p'})) # 查找id爲p的標籤 print(soup.find_all(attrs={'class': 'sister'})) # 查找class爲sister的全部標籤 # text: 根據文本匹配文檔樹內的文本 # 推薦配合其餘匹配規則使用，不然毫無心義 print(soup.find(text='$37')) # 查找標籤內爲$37的文本 # name與text配合使用 print(soup.find_all(name='p', text='$37')) # 查找全部文本爲$37的p標籤 # name與attrs配合使用 print(soup.find(name='a', attrs={'id': 'link2'})) # 查找第一個id爲link2的a標籤 # attrs與text配合使用 print(soup.find_all(attrs={'id': 'link2'}, text='Lacie')) # 查找全部id爲link2，文本爲Lacie的標籤 # name、attrs、text組合使用 print(soup.find_all(name='a', attrs={'id': 'link3'}, text='Tillie')) # 查找全部id爲link3，文本爲Tillie的a標籤 # 二、正則 print(soup.find(name=re.compile('a'))) # 經過第一個標籤名帶有a的節點 print(soup.find_all(attrs={'id': re.compile('link')})) # 匹配全部id名帶有link的節點 print(soup.find_all(text=re.compile('and'))) # 匹配全部文本帶有"and"的節點 # 三、列表 （列表內能夠匹配多個） print(soup.find_all(name=['a', re.compile('e')])) # 匹配全部a標籤節點與全部標籤中帶有e的節點 print(soup.find_all(text=['$'])) # 找不到，由於$是精確查找 print(soup.find_all(text=['$37'])) # 查找$37文本，這樣查找是沒有意義的 print(soup.find_all(text=[re.compile('\$')])) # 正則中$是特殊字符,因此須要轉義 # 四、bool print(soup.find_all(name=True)) # 查找全部有標籤名的節點 print(soup.find_all(attrs={'id': True})) # 查找全部有id的節點 print(soup.find_all(text=True)) # 查找全部文本 # 五、方法 # 寫一個只要有class沒有id的a標籤的函數 def has_class_not_id(arg): if arg.name == 'a' and arg.has_attr('class') and not arg.has_attr('id'): return arg.name print(soup.find_all(name=has_class_not_id)) # 經過has_class_not_id的函數匹配節點 # 六、標籤與屬性查找 # 標籤 print(soup.find_all(attrs={'class': 'sister'})) # 屬性 # 根據class屬性查找，由於class是關鍵字，因此後面須要加下劃線 print(soup.find_all(class_='sister')) # 根據id屬性查找 print(soup.find_all(id='link2'))
修改文檔樹 url