python爬取豆瓣電影Top250的信息

python爬取豆瓣電影Top250的信息

2018年07月25日 20:03:14 呢喃無音 閱讀數：50

python爬取豆瓣電影Top250的信息。

初學，因此代碼的不夠美觀和精煉。

若是代碼有錯，請各位讀者在評論區評論，以避免誤導其餘同窗。

（可能也沒多少人看）

 

 

 

 

 

import requests
#從bs4中導入BeautifulSoup模塊
from bs4 import BeautifulSoup
#獲取電影的名稱（中文，外文，其餘）
def get_movies_name():
    #定製請求的頭部
    headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0",
        "Host":"movie.douban.com"
    }
    movie_chinese_list=[]
    movie_english_list=[]
    movie_other_name_list=[]
    for j in range(0,10):
        i = (25 * j)
        r = requests.get("https://movie.douban.com/top250?start="+str(i)+"&filter=",headers=headers)
        soup=BeautifulSoup(r.text,"html.parser")
        # 兩個參數：（標籤，標識符）
        div_list=soup.find_all("div",class_="hd")
        for each in div_list:
            #each.a.span只會定位到a標籤下的第一個標籤的內容
            #each.a.contents會定位到a標籤下的每個標籤的內容
            #print(len(each.a.contents))
            #movie_chinese=each.a.span.text.strip()
            #第一個爲0.
            movie_chinese=each.a.contents[1].text.strip()
            #strip()除去字符串開頭和結尾指定的字符，默認爲空格或換行
            movie_english=each.a.contents[3].text.strip()
            movie_english=movie_english[2:]
            #其餘名稱爲第6個內容，但可能存在沒有其餘名稱的電影。
            if len(each.a.contents)>5:
                movie_other=each.a.contents[5].text.strip()
            movie_other=movie_other[2:]
            movie_chinese_list.append(movie_chinese)
            movie_english_list.append(movie_english)
            movie_other_name_list.append(movie_other)
    return movie_chinese_list,movie_english_list,movie_other_name_list
#獲取電影的導演和主演
def get_other_contents():
    i=0
    headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0",
        "Host":"movie.douban.com"
    }
    directors_list=[]#導演
    starring_list=[]#主演
    release_date_list=[]#上映年份
    movie_country_list=[]#電影國別
    film_classification_list=[]#電影分類
    for j in range(0, 10):
        i = (25 * j)
        r = requests.get("https://movie.douban.com/top250?start=" + str(i) + "&filter=", headers=headers)
        soup = BeautifulSoup(r.text, "html.parser")
        div_list=soup.find_all("div",class_="bd")
        for each in div_list:
            if len(each.p.contents)>1:
                """國家，年份，類別"""
                #對獲得的字符串進行處理
                movie_information=each.p.contents[2].strip()
                #對字符串經過」/「切片
                movie_information=movie_information.split("/")
                #去掉多餘的字符。
                release_date_list.append(movie_information[0].strip("\xa0"))
                movie_country_list.append(movie_information[1].strip(" "))
                film_classification_list.append(movie_information[2].strip(" "))
                """導演，主演"""
                # 顯示p標籤下第一部分的所有內容
                #print(each.p.contents[0].strip())
                #用"   "對字符串進行分割
                each_movie = each.p.contents[0].strip().split("   ")
                director=each_movie[0]
                #存在有導演，無主演的電影（動畫片）
                if len(each_movie)>1:
                    starring=each_movie[1]
                #去掉多餘字符（導演：）
                directors_list.append(director.strip("導演:"))
                # 去掉多餘字符（導演：. 和 /）
                starring_list.append(starring.strip("主演:").strip(".").strip("/"))
    return directors_list,starring_list,release_date_list,movie_country_list,film_classification_list
#獲取電影評分和經典影評
def get_movie_score():
    headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0",
        "Host":"movie.douban.com"
    }
    movie_score_list = []#評分
    movie_review_list = []#經典影評
    for j in range(0, 10):
        i = (25 * j)
        r = requests.get("https://movie.douban.com/top250?start=" + str(i) + "&filter=", headers=headers)
        soup = BeautifulSoup(r.text, "html.parser")
        div_list_1=soup.find_all("div",class_="star")
        div_list_2 = soup.find_all("p", class_="quote")
        for each_1 in div_list_1:
            #經過contents把代碼轉化成列表.
            #經過text提取關鍵字
            movie_score=each_1.contents[3].text
            movie_score_list.append(movie_score)
        for each_2 in div_list_2:
            #經過contents把代碼轉化成列表.
            #經過text提取關鍵字
            #列表中只有一個元素
            movie_review=each_2.text
            movie_review_list.append(movie_review.strip())
    return movie_review_list,movie_score_list
(movie_chinese_list,movie_english_list,movie_other_name_list)=get_movies_name()
print("豆瓣電影Top250中文電影名：(共%d個電影)"%len(movie_chinese_list))
print(movie_chinese_list)
print("豆瓣電影Top250外文電影名：(共%d個電影)"%len(movie_english_list))
print(movie_english_list)
print("豆瓣電影Top250其餘電影名：(共%d個電影)"%len(movie_other_name_list))
print(movie_other_name_list)
 
(directors_list,starring_list,release_date_list,movie_country_list,film_classification_list)=get_other_contents()
print("導演:")
print(directors_list)
print("主演：")
print(starring_list)
print("年份：")
print(release_date_list)
print("國家：")
print(movie_country_list)
print("類別：")
print(film_classification_list)
 
(movie_review_list,movie_score_list)=get_movie_score()
print("評分：")
print(movie_score_list)
print("經典影評：")
print(movie_review_list)