python爬蟲:爬取網站視頻


python爬取百思不得姐網站視頻:http://www.budejie.com/video/html

新建一個py文件,代碼以下:python

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import urllib,re,requests
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

url_name = [] #url name

def get():
    #獲取源碼
    hd = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}
    url = 'http://www.budejie.com/video/'
    html = requests.get(url,headers=hd).text
    url_content = re.compile(r'(<div class="j-r-list-c">.*?</div>.*?</div>)',re.S) #編譯
    url_contents = re.findall(url_content,html) #匹配

    for i in url_contents:
        #匹配視頻
        url_reg = r'data-mp4="(.*?)"'  #視頻地址
        url_items = re.findall(url_reg,i)
        #print url_items
        if url_items:  #判斷視頻是否存在
            name_reg = re.compile(r'<a href="/detail-.{8}?.html">(.*?)</a>',re.S)
            name_items = re.findall(name_reg,i)
            #print name_items[0]
            for i,k in zip(name_items,url_items):
                url_name.append([i,k])
                print i,k
    for i in url_name:  #i[1]=url i[0]=name
        urllib.urlretrieve(i[1],'video\\%s.mp4' % (i[0].decode('utf-8')))

if __name__ == "__main__":
    get()


在 py 文件下新建一個 video 文件夾,執行後結果以下:app

wKiom1kkMz-i8-RdAAIVKL2KXsw022.png

在 video 文件夾能夠看到下載好的視頻ide

wKioL1kkM1KQyw43AAQpNrfCuQc669.png



注意報錯:網站

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)url

解決:spa

import sys
reload(sys)

sys.setdefaultencoding('utf-8')code

相關文章
相關標籤/搜索