Python3爬取某頁面音頻文件

目的？

這是一個python練習，經過這個練習，咱們能夠了解：

• 使用python發起http請求
• python的文件操做
• python的數據庫操做

1、分析列表頁面

• 首先分析一下某網站的專輯頁面要素，想辦法獲取頁面紅色列表信息數據。理論上，每一個音頻大體包括：id、標題、音頻地址、更新時間等等

• 在瀏覽器調試工具中，查看一下http請求。大體找一下，看看能不能找到相應的數據。看看是直接頁面生成的，仍是有額外的api獲取數據

在network分析中，快速瀏覽一下全部的http請求，查看響應的結果，很快就能找到

在請求中，咱們發現了一個請求/revision/album/v1/getTracksList?albumId=18521227&pageNum=1,對就它了

結合頁面的狀況，還有響應的結果，咱們應該能猜到：albumId應該就是專輯ID，而pageNum應該就是頁面了，咱們驗證一下

沒有錯，這個就是列表信息的請求url了。json響應結果中，咱們找比較重要的信息：trackId-音頻ID,title-音頻標題,url-音頻播放地址

列表信息來源應該搞清楚了，咱們接着看音頻播放的時候是否能找到音頻來源？

2、分析音頻播放頁面

• 打開單個音頻播放地址後，跟列表頁面同樣，咱們找單個音頻信息來源。
• 應該能找到/revision/play/v1/audio?id=247457234&ptype=1

這個請求響應結果裏面的src就是音頻地址了

3、編碼實現

獲取專輯列表方法

• 一、使用requests發起http請求
• 二、獲取列表信息api返回的json結果，根據本身須要, 把列表信息保持到 list 中
• 三、方法返回track信息的list

# 獲取專輯列表
# album_id 專輯ID
# page_num 頁碼
def get_track_list(album_id, page_num):
    url = "https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=" + str(album_id) + "&pageNum=" + str(
        page_num)
    
    track_list = []
    resp = requests.get(url, headers=header)
    result = resp.json()
    if result['ret'] == 200:
        tracks = result['data']['tracks']
        for tack in tracks:
            track_list.append(
                {'index': tack['index'], 'play_count': tack['playCount'], 'duration': tack['duration'], 'trackId': tack['trackId'], 'title': tack['title'],
                 'url': tack['url']})
            # 加入字典(暫時沒有使用)
            track_map[tack['trackId']] = tack['title']
    return track_list
複製代碼

獲取單個音頻信息方法

• 一、傳入音頻的id
• 二、使用requests發起http請求，獲取單個音頻的json信息
• 三、方法返回音頻實際的http源文件地址

# 獲取音頻地址
def get_track_url(track_id):
    url = "https://www.ximalaya.com/revision/play/v1/audio?id=" + str(track_id) + "&ptype=1"
    resp = requests.get(url, headers=header)
    result = resp.json()
    if result['ret'] == 200:
        track_audio_play = result['data']['src']
        if len(track_audio_play) > 0:
            return track_audio_play
複製代碼

保存http音頻文件信息到本地

• 一、使用requests發起http請求，獲取單個音頻的流
• 二、保存到響應的本地路徑

#下載音頻文件
def download_track_audio(url, file):
    resp = requests.get(url, headers=header, stream=True)
    with open(file, "wb") as f:
        for data in resp.iter_content(chunk_size=1024):
            if data:
                f.write(data)
複製代碼

例子運行&保存信息到數據庫

try:
    dir = "H:/Temp"
    # 鏈接 mysql 的方法：connect('ip','user','password','dbname')
    con = mdb.connect(host='127.0.0.1', user='root', passwd='123456', db='py_demo', use_unicode=True, charset="utf8")
    # 全部的查詢，都在鏈接 con 的一個模塊 cursor 上面運行的
    cur = con.cursor()
    # 執行一個查詢
    # cur.execute("SELECT VERSION()")
    # 取得上個查詢的結果，是單個結果
    # data = cur.fetchone()
    track_list = get_track_list(18521227, 1)
    sql = """insert into track_info_demo(id,trackId,title,play_count,duration,url,file_path) values(%s,%s,%s,%s,%s,%s,%s)"""
    for track_info in track_list:
        
        # 下載
        track_url = get_track_url(track_info.get('trackId'))
        file_path = ""
        if track_url:
            # 擴展名
            file_name = track_url[track_url.rindex('/'):]
            # 文件名路徑
            file_path = dir + file_name
            # 下載
            download_track_audio(track_url, file_path)
        
        # values.append(track_info.get('index'))
        # values.append(track_info.get('trackId'))
        values = [track_info.get('index'), track_info.get('trackId'), track_info.get('title'), track_info.get('playCount'), track_info.get('duration'),
                  track_info.get('url'), file_path]
        cur.execute(sql, values)
    
    con.commit()
finally:
    if con:
        # 不管如何，鏈接記得關閉
        con.close()
複製代碼

結果

數據庫保存信息

文件信息

附：

源碼附件