Python爬蟲教程-24-數據提取-BeautifulSoup4（二）

本篇介紹 bs 如何遍歷一個文檔對象css

遍歷文檔對象

contents：tag 的子節點以列表的方式輸出
children：子節點以迭代器形式返回
descendants：全部子孫節點
string：用string打印出標籤的具體內容，不帶有標籤，只有內容
案例代碼27bs3.py文件：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py27bs3.py

# BeautifulSoup 的使用案例
# 遍歷文檔對象

from urllib import request
from bs4 import BeautifulSoup

url = 'http://www.baidu.com/'

rsp = request.urlopen(url)
content = rsp.read()

soup = BeautifulSoup(content, 'lxml')

# bs 自動解碼
content = soup.prettify()

print("=="*12)
# 使用 contents
for node in soup.head.contents:
    if node.name == "meta":
        print(node)
    if node.name == "title":
        print(node.string)
print("=="*12)

運行結果

經常使用string打印出標籤的具體內容，不帶有標籤，只有內容固然，若是以爲遍歷太耗費資源，沒有必要遍歷的時候，能夠使用搜索node

搜索文檔對象

find_all(name, attrs, recursive, text, ** kwargs)
- 使用find_all()，返回的列表格式，也就是說若是 find_all(name='meta') ，若是有多個 meta 就以列表形式返回
- name 參數：按照哪一個字符搜索，能夠傳入的內容爲
  - 1.字符串
  - 2.正則表達式，使用正則須要編譯：例如：咱們須要打印全部以 me 開頭的標籤內容 tags = soup.find_all(re.compile('^me'))
  - 3.也能夠是列表
keyword 參數，能夠用來表示屬性
text：對應 tag 的文本值
案例代碼27bs4.py文件：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py27bs4.py

# BeautifulSoup 的使用案例
# 搜索文檔對象

from urllib import request
from bs4 import BeautifulSoup
import re

url = 'http://www.baidu.com/'

rsp = request.urlopen(url)
content = rsp.read()

soup = BeautifulSoup(content, 'lxml')

# bs 自動解碼
content = soup.prettify()

# 使用 find_all
# 使用 name 參數
print("=="*12)
tags = soup.find_all(name='link')
for i in tags:
    print(i)

# 使用正則表達式
print("=="*12)
# 同時使用兩個條件
tags = soup.find_all(re.compile('^me'), content='always')
# 這裏直接打印 tags 會打印一個列表
for i in tags:
    print(i)

運行結果：

由於使用兩個條件，因此只匹配到一條 meta 下一篇介紹，BeautifulSoup 的 css 選擇器git

更多文章連接：Python 爬蟲隨筆

<hr>- 本筆記不容許任何我的和組織轉載github