Beautiful Soup

時間 2019-11-17

標籤 beautiful soup 简体版

原文原文鏈接

Beautiful Soup

簡單來講，Beautiful Soup是python的一個庫，最主要的功能是從網頁抓取數據。html

1.Beautiful Soup簡介

Beautiful Soup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，經過解析文檔爲用戶提供須要抓取的數據，由於簡單，因此不須要多少代碼就能夠寫出一個完整的應用程序。python

Beautiful Soup 是一個能夠從HTML或XML文件中提取數據的Python庫。它可以經過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式。因此須要配合解析器一塊兒使用！函數

2.爲何要用BeautifulSoup？

BeautifulSoup能給咱們提供一些列查找文檔樹的方法，使咱們能快速定位到咱們想要爬取的數據。咱們再回想一下以前學的一個re模塊，它能夠全局查找咱們想要的文本，從文本開頭到結束開始匹配，而後經過貪婪匹配，再經過非貪婪匹配拿到須要的數據，整個過程是否是很是繁瑣，而卻搜索效率極低！工具

BeautifulSoup內既封裝了re，還爲咱們提供了一些更增強大、高效的功能，使咱們能夠快速匹配到咱們想要的數據，提升爬取效率和開發效率code

3.安裝

pip install beautifulsoup4
#安裝Beautifulsoup4
pip install lxml
安裝解析器

4.基本用法

基本使用

注意: 如何初始文本內有換行，也會算在裏面。（坑）
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" >Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup

# 第一個參數是解析文本
# 第二個參數是解析器
soup = BeautifulSoup(html_doc, 'lxml')

# 具有自動補全html標籤功能
print(soup)

# 美化html便籤
html_doc = soup.prettify()
print(html_doc)

遍歷文檔樹

一、直接使用
    二、獲取標籤的名稱
    三、獲取標籤的屬性
    四、獲取標籤的內容
    五、嵌套選擇
    六、子節點、子孫節點
    七、父節點、祖先節點
    八、兄弟節點

一、直接選擇標籤（返回的是一個對象）
print(soup.a)  # 獲取第一個a標籤
print(soup.p)  # 獲取第一個p標籤
print(type(soup.a))  # <class 'bs4.element.Tag'>

二、獲取標籤的名稱
print(soup.a.name)  # 獲取a標籤的名字

三、獲取標籤的屬性
print(soup.a.arrts)  # 獲取a標籤內全部的屬性
#{'href': 'http://example.com/elsie', 'class': ['sister']}

四、獲取標籤的內容   **
print(soup.a.arrts['href'])  # 獲取a標籤內的href屬性
#http://example.com/elsie

五、嵌套選擇標籤
print(soup.p.b)   #獲取第一個p標籤內的b標籤        #<b>$37</b>
print(soup.p.b.text)  # 打印b標籤內的文本         #$37

六、子節點，子孫節點
# 獲取子節點
print(soup.p.children)   # 獲取第一個p標籤全部的子節點，返回的是一個迭代器
print(list(soup.p.children))  # list轉成列表
# 獲取子孫節點
print(soup.body.descendants)  # 獲取body標籤內全部的子孫節點，返回的是一個生成器
print(list(soup.body.descendants))  # list轉成列表
# 獲取第一個p標籤中全部的內容，返回的是一個列表
print(soup.p.contents)

七、父節點，祖先節點
#獲取父節點
print(soup.a.parent)  # 獲取第一個a標籤內的父節點
# 獲取祖先節點（爸爸，爸爸的爸爸，爸爸的爸爸的爸爸...以此類推）
print(list(soup.a.parents))  # 獲取第一個a標籤的祖先節點，返回的是一個生成器

# 八、兄弟節點  （sibling: 兄弟姐妹）
print(soup.a)
# 獲取下一個兄弟節點
print(soup.a.next_sibling)
# 獲取下一個的全部兄弟節點,返回的是一個生成器
print(soup.a.next_siblings)
print(list(soup.a.next_siblings))

# 獲取上一個兄弟節點
print(soup.a.previous_sibling)
# 獲取上一個的全部兄弟節點，返回的是一個生成器
print(list(soup.a.previous_siblings))

搜索文檔樹

BeautifulSoup定義了不少搜索方法，這裏着重介紹2個：find() 和 find_all() 。其它方法的參數和用法相似orm

標籤查找與屬性查找：
標籤
    -字符串過濾，字符串全局匹配
        name    屬性匹配
        attrs   屬性查找匹配
        text    文本匹配
    
    -正則過濾器
        re模塊匹配
        
    -列表過濾器
        列表內的數據匹配
        
    -bool過濾器
        True匹配
            
    -方法過濾器
    
屬性：
    -class_
    -id

一、字符串
find的默認參數，第一個是name，第二個是attrs，第四個是text
#name:根據標籤名匹配節點
print(soup.find('p'))   #獲取第一個p標籤
print(soup.find_all('p'))   #獲取全部的p標籤

#attrs:根據屬性查找匹配的節點
print(soup.find(attrs={'id':'p'}))  #查找id爲p的標籤
print(soup.find_all(attrs={'id':'p'}))  #查找全部id爲p的標籤

#text:根據文本匹配文檔樹內的文本
#推薦配合其餘匹配規則使用，不然毫無心義
print(soup.find(text='$37'))  # 查找標籤內爲$37的文本

#name與text配合使用
print(soup.find_all(name='p',text='$37'))  # 查找全部文本爲$37的p標籤

#name與attrs配合使用
print(soup.find(name='a',attrs={'id':'link2'}))  # 查找第一個id爲link2的a標籤

#attrs與text配合使用
print(soup.find_all(attrs={'id':'link2'},text='Lacie'))  # 查找全部id爲link2，文本爲Lacie的標籤

#name,attrs,text組合使用    **
print(soup.find_all(name='a',attrs={'id':'link3'},text='Tillie'))  # 查找全部id爲link3，文本爲Tillie的a標籤

二、正則
print(soup.find(name=re.compile('a')))  #查找第一個標籤名帶有a的節點
print(soup.find_all(attrs={'id':'re.compile('link')'}))  # 匹配全部id名帶有link的節點
print(soup.find_all(text=re.compile('and')))  # 匹配全部文本帶有"and"的節點

三、列表（列表內能夠匹配多個）
print(soup.find_all(name=['a','re.compile('e')']))  # 匹配全部a標籤節點與全部標籤中帶有e的節點
print(soup.find_all(text=['$']))  # 找不到，由於$是精確查找
print(soup.find_all(text=['$37']))  # 查找$37文本，這樣查找是沒有意義的
print(soup.find_all(text=[re.compile('\$')]))  # 正則中$是特殊字符,因此須要轉義

四、bool
print(soup.find_all(name=True)) #查找全部有標籤名的節點
print(soup.find_all(attrs={'id':True})) #查找全部有id的節點
print(soup.find_all(text=True)) #查找全部文本

五、方法
#寫一個只要有class沒有id的a標籤的函數
def has_class_not_id(arg):
    if arg.name == 'a' and arg.has_attr('class') and not arg.has_attr('id'):
        return arg.name
print(soup.find_all(name=has_class_not_id))

六、標籤與屬性查找   **後面可帶[屬性]||都括起來.text
# 標籤
print(soup.find_all(attrs={'class': 'sister'}))
# 屬性
# 根據class屬性查找，由於class是關鍵字，因此後面須要加下劃線
print(soup.find_all(class_='sister'))
# 根據id屬性查找
print(soup.find_all(id='link2'))

修改文檔樹xml

相關標籤/搜索

soup

beautiful

python3.6+request+beautiful

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。