如何利用python爬蟲爬取愛奇藝VIP電影?

環境:windows    python3.7

思路:

一、先選取你要爬取的電影

二、用vip解析工具解析,獲取地址

三、寫好腳本,下載片段

四、將片段利用電腦合成

須要的python模塊:

##第一個模塊不要安裝,第二個模塊須要安裝

一、from multiprocessing import Poolpython

二、import requestswindows

##模塊安裝方法

用windows命令行終端網絡

pip install requestsapp

 

1、先選取你要爬的電影,本例隨便找了個VIP電影,複製地址

 

2、用vip解析工具解析,獲取地址

 (一)進行上網搜索,點擊VIP解析

 

 

 

(二)、粘貼電影地址,點擊播放

 

 

(三)、按下F12或者右擊點檢查,進入開發者工具界面,點擊網絡,複製地址

 

 

3、寫好腳本,利用爬蟲下載片段

複製代碼
##描述:該腳本目前適合下載愛奇藝,騰迅視頻VIP視頻
##做者:小劉
##電話:有事請寫評論
##注意:只適全python爬蟲的學習者,不適合專門去看電影的愛好者
##導入的兩個模塊,其中requests模塊須要自行下載
from multiprocessing import Pool
import requests
##定義一個涵數
def demo(i):
    ##定義了一個url,後面%3d就是截取後面三位給他加0,以防止i的參數是1的時候參數對不上號,因此是1的時候就變成了001
    url="https://vip.okokbo.com/20180114/ArVcZXQd/1000kb/hls/phJ51837151%03d.ts"%i
    ##定義了請求頭信息
    headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36"}
    ##構建自定義請求對象
    req=requests.get(url,headers=headers)
    ##將文件保存在當前目錄的mp4文件中,名字以url後十位數起名
    with open('./mp4/ {}'.format(url[-10:]), 'wb') as f:
        f.write(req.content)

##程序代碼的入口
if __name__=='__main__':
    ##定義一個進程池,能夠同時執行二十個任務,否則一個一個下載太慢
    pool = Pool(20)
    ##執行任務的代碼
    for i in range(100):
        pool.apply_async(demo, (i,))

    
    pool.close()
    pool.join()
複製代碼

 

 4、將片段利用電腦合成

(一)、複製電影存放的路徑

 

 (二)、用進入windows命令行模式,粘貼地址

 

 

 

 (三)、複製該目錄下全部以*.ts結尾的文件,複製成一個文件

 

 

 

 (四)、進行合併

 

 

 

(五)、進行驗證

 

python爬蟲

相關文章
相關標籤/搜索