Python爬蟲--- 1.2 BS4庫的安裝與使用

時間 2019-12-08

標籤 python 爬蟲 1.2 bs4 安裝使用欄目 Python 简体版

原文原文鏈接

原文連接https://www.fkomm.cn/article/...html

Beautiful Soup 庫通常被稱爲bs4庫，支持Python3，是咱們寫爬蟲很是好的第三方庫。因用起來十分的簡便流暢。因此也被人叫作「美味湯」。目前bs4庫的最新版本是4.60。下文會介紹該庫的最基本的使用，具體詳細的細節仍是要看：官方文檔

bs4庫的安裝

Python的強大之處就在於他做爲一個開源的語言，有着許多的開發者爲之開發第三方庫，這樣咱們開發者在想要實現某一個功能的時候，只要專心實現特定的功能，其餘細節與基礎的部分均可以交給庫來作。bs4庫就是咱們寫爬蟲強有力的幫手。

安裝的方式很是簡單：咱們用pip工具在命令行裏進行安裝web

$ pip install beautifulsoup4工具

接着咱們看一下是否成功安裝了bs4庫spa

$ pip list命令行

這樣咱們就成功安裝了 bs4 庫code

bs4庫的簡單使用

這裏咱們先簡單的講解一下bs4庫的使用，暫時不去考慮如何從web上抓取網頁，假設咱們須要爬取的html是以下這麼一段：orm

//下面的一段HTML代碼將做爲例子被屢次用到.這是 愛麗絲夢遊仙境的 的一段內容(之後內容中簡稱爲 愛麗絲 的文檔):

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
http://example.com/elsie" class="sister" id="link1">Elsie,
http://example.com/lacie" class="sister" id="link2">Lacie and
http://example.com/tillie" class="sister" id="link3">Tillie;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
</html>

下面咱們開始用bs4庫解析這一段html網頁代碼。視頻

#導入bs4模塊
from bs4 import BeautifulSoup
#作一個美味湯
soup = BeautifulSoup(html，'html.parser')
#輸出結果
print(soup.prettify())

'''
OUT:

# <html>
#  <head>
#   <title>
#    The Dormouse's story
#   </title>
#  </head>
#  <body>
#   <p class="title">
#    <b>
#     The Dormouse's story
#    </b>
#   </p>
#   <p class="story">
#    Once upon a time there were three little sisters; and their names were
#    <a class="sister" href="http://example.com/elsie" id="link1">
#     Elsie
#    </a>
#    ,
#    <a class="sister" href="http://example.com/lacie" id="link2">
#     Lacie
#    </a>
#    and
#    <a class="sister" href="http://example.com/tillie" id="link2">
#     Tillie
#    </a>
#    ; and they lived at the bottom of a well.
#   </p>
#   <p class="story">
#    ...
#   </p>
#  </body>
# </html>
'''

能夠看到bs4庫將網頁文件變成了一個soup的類型，事實上，bs4庫是解析、遍歷、維護、「標籤樹「的功能庫。htm

通俗一點說就是： bs4庫把html源代碼從新進行了格式化，從而方便咱們對其中的節點、標籤、屬性等進行操做。three

下面是幾個簡單的瀏覽結構化數據的方式：

請仔細觀察最前面的html文件

# 找到文檔的title
soup.title
# <title>The Dormouse's story</title>

#title的name值
soup.title.name
# u'title'

#title中的字符串String
soup.title.string
# u'The Dormouse's story'

#title的父親節點的name屬性
soup.title.parent.name
# u'head'

#文檔的第一個找到的段落
soup.p
# <p class="title"><b>The Dormouse's story</b></p>

#找到的p的class屬性值
soup.p['class']
# u'title'

#找到a標籤
soup.a
# http://example.com/elsie" id="link1">Elsie

#找到全部的a標籤
soup.find_all('a')
# [http://example.com/elsie" id="link1">Elsie,
#  http://example.com/lacie" id="link2">Lacie,
#  http://example.com/tillie" id="link3">Tillie]

#找到id值等於3的a標籤
soup.find(id="link3")
# http://example.com/tillie" id="link3">Tillie

經過上面的例子咱們知道bs4庫是這樣理解一個html源文件的：

首先把html源文件轉換爲soup類型
接着從中經過特定的方式抓取內容

更高級點的用法？

從文檔中找到全部標籤的連接:

#發現了沒有，find_all方法返回的是一個能夠迭代的列表
for link in soup.find_all('a'):
    print(link.get('href'))
    # http://example.com/elsie
    # http://example.com/lacie
    # http://example.com/tillie

從文檔中獲取全部文字內容:

#咱們能夠經過get_text 方法 快速獲得源文件中的全部text內容。
print(soup.get_text())
# The Dormouse's story
#
# The Dormouse's story
#
# Once upon a time there were three little sisters; and their names were
# Elsie,
# Lacie and
# Tillie;
# and they lived at the bottom of a well.
#
# ...

bs4庫的入門使用咱們就先進行到這。

Python爬蟲--- 1.2 BS4庫的安裝與使用

bs4庫的安裝

bs4庫的簡單使用

更高級點的用法？

相關文章和視頻推薦