只要網速夠快，小視頻看完一個刪一個，任性！Python爬取小視頻

 

 

前言

yy平臺，直播界的先驅，有不少主播會把一些本身的直播精彩看點上傳到該平臺下的小視頻欄目中

今天帶你們爬取yy小視頻欄目中全部的小視頻

課程知識點：

一、動態數據抓包演示

二、json數據解析方法

三、視頻數據保存

環境介紹：

python 3.6

pycharm

requests

爬蟲的通常思路：

一、分析目標網頁,肯定爬取的url路徑，headers參數

 

二、發送請求 -- requests 模擬瀏覽器發送請求，獲取響應數據

三、解析數據

四、保存數據

導入工具

import requests
import re
import pprint

 

分析目標網頁,肯定爬取的url路徑，headers參數

url地址：

 

參數

 

url = 'https://api-tinyvideo-web.yy.com/home/tinyvideos?'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',
}

param = {
    'data': '{"uid":0,"page":1,"pageSize":10}',
}

 

 

發送請求 -- requests 模擬瀏覽器發送請求，獲取響應數據

 

 

response = requests.get(url=url, headers=headers, params=param)
data = response.json()
# print(data)

 

解析數據

 

# 提取字段
data_list = data['data']['data']

# 循環遍歷
for data1 in data_list:
    resdesc = data1['resdesc'] + '.mp4'  # 視頻的題目
    resurl = data1['resurl']  # 視頻的url地址
    # print(resdesc, resurl)

    # new_title = change_title(resdesc)

    video_data = requests.get(resurl, headers=headers).content

 

保存數據

 

with open('video\\' + resdesc, mode='wb') as f:
        print('正在下載：', resdesc)
        f.write(video_data)

 

運行代碼，效果以下：

 

無論你是零基礎仍是有基礎均可以獲取到本身相對應的學習禮包！包括Python軟件工具和2020最新入門到實戰教程。加羣695185429便可免費獲取。