Python之Beautiful Soup 4使用實例

Beautiful Soup 是一個能夠從HTML或XML文件中提取數據的Python庫，它可以經過你喜歡的轉換器實現慣用的文檔導航、查找、修改文檔的方式。
Beautiful Soup 4 官方文檔：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

1、安裝Beautiful Soup

運行cmd，cd切換到python安裝目錄下的Scripts目錄，執行命令

pip3 install beautifulsoup4

2、安裝解析器lxml

Beautiful Soup支持Python標準庫中的HTML解析器，也支持一些第三方的解析器，推薦用lxml，速度快，文檔容錯能力強，須要安裝。

pip3 install lxml

3、使用實例

下面測試抓取博客園首頁一些信息

一、簡單信息的抓取

import re import requests from bs4 import BeautifulSoup r = requests.get('https://www.cnblogs.com') soup = BeautifulSoup(r.text, 'lxml') #lxml爲解析器

print(soup.title, soup.title.string) #獲取指定標籤，獲取指定標籤裏面的內容
print(soup('title'), soup('title')[0].string) #獲取指定標籤也能夠寫成這樣
print(soup.meta.get('charset')) #獲取指定標籤的屬性
print(soup.meta['charset']) #獲取指定標籤的屬性也可寫成這樣
print(soup.meta) #獲取第一個標籤（多個只取第一個）
print(soup.find('meta')) #獲取第一個標籤，結果和上面同樣
print(soup.find('meta', attrs={'name':'viewport'})) #獲取第一個標籤，根據屬性過濾獲取
print(soup.find_all('meta', attrs={'charset':True})) #獲取全部標籤的列表，同時根據是否含有屬性charset過濾獲取

運行結果：

<title>博客園 - 開發者的網上家園</title> 博客園 - 開發者的網上家園
[<title>博客園 - 開發者的網上家園</title>] 博客園 - 開發者的網上家園
utf-8
utf-8
<meta charset="utf-8"/>
<meta charset="utf-8"/>
<meta content="width=device-width, initial-scale=1" name="viewport"/>
[<meta charset="utf-8"/>]

二、抓取首頁的導航條信息

print('抓取導航，實現方法1') for item in soup.select('div#nav_menu a'): print(item.get('href'), item.string) print('抓取導航，實現方法2') for item in soup.find('div', {'id':'nav_menu'}).children: print(item['href'], item.string)

 運行結果：

抓取導航，實現方法1
https://home.cnblogs.com/ 園子
https://news.cnblogs.com 新聞
https://q.cnblogs.com/ 博問
https://ing.cnblogs.com/ 閃存
https://group.cnblogs.com/ 小組
https://wz.cnblogs.com/ 收藏
https://job.cnblogs.com/ 招聘
https://edu.cnblogs.com/ 班級
http://zzk.cnblogs.com/ 找找看
抓取導航，實現方法2
https://home.cnblogs.com/ 園子
https://news.cnblogs.com 新聞
https://q.cnblogs.com/ 博問
https://ing.cnblogs.com/ 閃存
https://group.cnblogs.com/ 小組
https://wz.cnblogs.com/ 收藏
https://job.cnblogs.com/ 招聘
https://edu.cnblogs.com/ 班級
http://zzk.cnblogs.com/ 找找看

三、抓取網站分類

print('抓取網站分類，實現方法1') for item in soup.select('ul#cate_item li'): print(item.find('a').get('href'),item.find('a').string) print('抓取網站分類，實現方法2') for item in soup.find_all(id=re.compile('^cate_item_')): print(item.find('a').get('href'),item.find('a').string)

運行結果：

抓取網站分類，實現方法1
/cate/108698/ .NET技術(8)
/cate/2/ 編程語言(41)
/cate/108701/ 軟件設計(0)
/cate/108703/ Web前端(10)
/cate/108704/ 企業信息化(0)
/cate/108705/ 手機開發(3)
/cate/108709/ 軟件工程(0)
/cate/108712/ 數據庫技術(9)
/cate/108724/ 操做系統(9)
/cate/4/ 其餘分類(16)
/cate/all/ 全部隨筆(1571)
/comment/ 全部評論(491)
抓取網站分類，實現方法2
/cate/108698/ .NET技術(8)
/cate/2/ 編程語言(41)
/cate/108701/ 軟件設計(0)
/cate/108703/ Web前端(10)
/cate/108704/ 企業信息化(0)
/cate/108705/ 手機開發(3)
/cate/108709/ 軟件工程(0)
/cate/108712/ 數據庫技術(9)
/cate/108724/ 操做系統(9)
/cate/4/ 其餘分類(16)
/cate/all/ 全部隨筆(1571)
/comment/ 全部評論(491)

四、抓取首頁的全部隨筆信息

print('抓取隨筆信息') post_item_body = soup.find_all('div', 'post_item_body') for item in post_item_body: print(item.h3.a['href']) print(item.h3.a.string) print(item.p.get_text().strip()) print(item.div.a.string) print(item.div.a.next_sibling.replace('發佈於','').strip())

運行結果：

抓取隨筆信息
https://www.cnblogs.com/chq1234/p/11400367.html
js全選與取消全選
實現全選與取消全選的效果 要求1(將軍影響士兵)：點擊全選按鈕，下面的複選框所有選中，取消全選按鈕，下面的複選框所有取消 思路：複選框是否被選中，取決於check屬性,將全選按鈕的check屬性值賦值給下面全部複選框的check值 要求2（士兵影響將軍）: 當下面的某個複選框沒有被選中時，全選按鈕自 ...
源氏西格瑪
2019-08-23 15:36
https://www.cnblogs.com/lenve/p/11400056.html
40 篇原創乾貨，帶你進入 Spring Boot 殿堂！
兩個月前，鬆哥總結過一次已經完成的 Spring Boot 教程，當時感覺到了小夥伴們巨大的熱情。 兩個月過去了，鬆哥的 Spring Boot 教程又更新了很多，爲了方便小夥伴們查找，這裏再給你們作一個索引參考。 須要再次說明的是，這一系列教程不是終點，而是一個起點，鬆哥後期還會不斷完善這個教程， ...
江南一點雨
2019-08-23 14:58
.....................後面內容太長了省略....................