Python爬蟲新手入門教學（五）：爬取B站視頻彈幕

前言

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,若有問題請及時聯繫咱們以做處理。

 

前文內容

Python爬蟲新手入門教學（一）：爬取豆瓣電影排行信息

Python爬蟲新手入門教學（二）：爬取小說

Python爬蟲新手入門教學（三）：爬取鏈家二手房數據

Python爬蟲新手入門教學（四）：爬取前程無憂招聘信息

Python爬蟲、數據分析、網站開發等案例教程視頻免費在線觀看

https://space.bilibili.com/523606542

基本開發環境

• Python 3.6
• Pycharm

相關模塊的使用

• requests
• re

安裝Python並添加到環境變量，pip安裝須要的相關模塊便可。

1、明確需求

找一個彈幕比較多的視頻爬取

 

 

2、網頁數據分析

之前的B站彈幕視頻，點擊查看歷史的彈幕，會給你返回一個json數據，包含了全部的彈幕內容。
如今點擊歷史彈幕數據，一樣是有數據加載出來，可是裏面的都是亂碼了。

 

 

請求這個連接仍是會獲得想要的數據內容。

 

只須要使用正則表達匹配中文字符就能夠匹配出來

3、解析數據並多頁爬取

彈幕分頁是根據日期來的，當點擊 2021-01-01 的使用，返回的給個人數據並非彈幕數據，而是全部的日期。

 

那麼看到這裏有人就會問了，那我想要爬取 2021-01-01 的彈幕數據怎麼辦？

 

這兩個的url地址是不同的，seg.so 纔是彈幕數據url地址。

import requests import re def get_response(html_url): headers = { 'cookie': '你本身的cookie', 'origin': 'https://www.bilibili.com', 'referer': 'https://www.bilibili.com/video/BV19E41197Kc', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', } response = requests.get(url=html_url, headers=headers) return response def get_date(html_url): response = get_response(html_url) json_data = response.json() date = json_data['data'] print(date) return date if __name__ == '__main__': one_url = 'https://api.bilibili.com/x/v2/dm/history/index?type=1&oid=120004475&month=2021-01' get_date(one_url)

返回的數據是json數據，根據字典鍵值對取值就能夠獲得相關數據。

 

4、保存數據（數據持久化）

def main(html_url): data = get_date(html_url) for date in data: url = f'https://api.bilibili.com/x/v2/dm/web/history/seg.so?type=1&oid=120004475&date={date}' html_data = get_response(url).text result = re.findall(".*?([\u4E00-\u9FA5]+).*?", html_data) for i in result: with open('B站彈幕.txt', mode='a', encoding='utf-8') as f: f.write(i) f.write('\n')

 

5、完整代碼

import requests import re def get_response(html_url): headers = { 'cookie': '你本身的cookie', 'origin': 'https://www.bilibili.com', 'referer': 'https://www.bilibili.com/video/BV19E41197Kc', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', } response = requests.get(url=html_url, headers=headers) return response def get_date(html_url): response = get_response(html_url) json_data = response.json() date = json_data['data'] print(date) return date def save(content): for i in content: with open('B站彈幕.txt', mode='a', encoding='utf-8') as f: f.write(i) f.write('\n') print(i) def main(html_url): data = get_date(html_url) for date in data: url = f'https://api.bilibili.com/x/v2/dm/web/history/seg.so?type=1&oid=120004475&date={date}' html_data = get_response(url).text result = re.findall(".*?([\u4E00-\u9FA5]+).*?", html_data) save(result) if __name__ == '__main__': one_url = 'https://api.bilibili.com/x/v2/dm/history/index?type=1&oid=120004475&month=2021-01' main(one_url)

總結

一、須要登錄才能查看歷史彈幕，爬取時須要攜帶cookie

二、能夠保存到Excel裏面，本文是保存txt文本

三、保存數據以後能夠作詞雲分析下篇文章再說吧