python 中BeautifulSoup入門

時間 2019-11-26

原文原文鏈接

在前面的例子用，我用了BeautifulSoup來從58同城抓取了手機維修的店鋪信息，這個庫使用起來的確是很方便的。本文是BeautifulSoup 的一個詳細的介紹，算是入門把。文檔地址：http://www.crummy.com/software/BeautifulSoup/bs4/doc/css

什麼是BeautifulSoup？html

Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它能夠很好的處理不規範標記並生成剖析樹(parse tree)。它提供簡單又經常使用的導航（navigating），搜索以及修改剖析樹的操做。它能夠大大節省你的編程時間。python

直接看例子：編程

#!/usr/bin/python
# -*- coding: utf-8 -*-數組

from bs4 import BeautifulSoup函數

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
The Dormouse's storyorm

Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.htm

...對象

"""three

soup = BeautifulSoup(html_doc)

print soup.title

print soup.title.name

print soup.title.string

print soup.p

print soup.a

print soup.find_all('a')

print soup.find(id='link3')

print soup.get_text()

結果爲：

<title>The Dormouse's story</title>
title
The Dormouse's story
The Dormouse's story
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

The Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.
...

能夠看出：soup 就是BeautifulSoup處理格式化後的字符串，soup.title 獲得的是title標籤，soup.p 獲得的是文檔中的第一個p標籤，要想獲得全部標籤，得用find_all

函數。find_all 函數返回的是一個序列，能夠對它進行循環，依次獲得想到的東西.

get_text() 是返回文本,這個對每個BeautifulSoup處理後的對象獲得的標籤都是生效的。你能夠試試 print soup.p.get_text()

實際上是能夠得到標籤的其餘屬性的，好比我要得到a標籤的href屬性的值，能夠使用 print soup.a['href'],相似的其餘屬性，好比class也是能夠這麼獲得的（soup.a['class']）。

特別的，一些特殊的標籤，好比head標籤，是能夠經過soup.head 獲得，其實前面也已經說了。

如何得到標籤的內容數組？使用contents 屬性就能夠好比使用 print soup.head.contents，就得到了head下的全部子孩子，以列表的形式返回結果，

能夠使用 [num] 的形式得到 ,得到標籤，使用.name 就能夠。

獲取標籤的孩子，也能夠使用children，可是不能print soup.head.children 沒有返回列表，返回的是 <listiterator object at 0x108e6d150>,

不過使用list能夠將其轉化爲列表。固然能夠使用for 語句遍歷裏面的孩子。

關於string屬性，若是超過一個標籤的話，那麼就會返回None，不然就返回具體的字符串print soup.title.string 就返回了 The Dormouse's story

超過一個標籤的話，能夠試用strings

向上查找能夠用parent函數，若是查找全部的，那麼能夠使用parents函數

查找下一個兄弟使用next_sibling,查找上一個兄弟節點使用previous_sibling,若是是查找全部的，那麼在對應的函數後面加s就能夠

如何遍歷樹？

　使用find_all 函數

find_all(name, attrs, recursive, text, limit, **kwargs)

舉例說明：

print soup.find_all('title')
print soup.find_all('p','title')
print soup.find_all('a')
print soup.find_all(id="link2")
print soup.find_all(id=True)

返回值爲：

[<title>The Dormouse's story</title>]
[The Dormouse's story]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

經過css查找,直接上例子把：

print soup.find_all("a", class_="sister")
print soup.select("p.title")

經過屬性進行查找
print soup.find_all("a", attrs={"class": "sister"})

經過文本進行查找
print soup.find_all(text="Elsie")
print soup.find_all(text=["Tillie", "Elsie", "Lacie"])

限制結果個數
print soup.find_all("a", limit=2)

結果爲：

[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[The Dormouse's story]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[u'Elsie']
[u'Elsie', u'Lacie', u'Tillie']
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

總之，經過這些函數能夠查找到想要的東西。

---end---