貓哥教你寫爬蟲 036--爬蟲-BeautifulSoup實踐-做業-電影top250-做業解析

遍歷list的索引和值

list1 = ['我','愛','中國']
for i,k in enumerate(list1):
    print(i)
    print(k)
複製代碼

面向對象風格的代碼, 已寫註釋

import requests
import time
from bs4 import BeautifulSoup
class Spider():
    def __init__(self, base_url):
        ''' 根據入口url來實例化movie對象 '''
        self.movie = Movie(base_url)
    def start(self):
        ''' 1. 獲取每一個分頁的url 2. 遍歷, 把每一個分頁url做爲入口 3. 進入頁面, 爬取數據 4. 保存到movies_250_list 5. 處理movies_250_list, 生成markdown '''
        for movie_url in self.get_page_urls():
            self.make_movie_list(movie_url)
        self.movie.make_markdown()
    def make_movie_list(self, url):
        ''' 從頁面獲取電影的相關信息, 保存到movie_250_list '''
        res = requests.get(url)
        print(url)  # 打印url, 顯示進度
        time.sleep(2)  # 暫停2秒, 防止頻率太高, 被封IP
        movie_html_tag_obj = BeautifulSoup(res.text, 'html.parser')
        for i in movie_html_tag_obj.find('ol', class_='grid_view').find_all('div', class_='item'):
            tmp_dict = {}  # 設置對象, 用來保存電影的名稱, 封面, 評論, 和評分(電影的排名能夠參考list的索引)
            tmp_dict['movie_title'] = i.find(
                'div', class_='pic').find('img')['alt']
            tmp_dict['movie_img'] = i.find(
                'div', class_='pic').find('img')['src']
            tmp_dict['movie_desc'] = i.find('span', class_='inq').text
            tmp_dict['movie_score'] = i.find('span', class_='rating_num').text
            self.movie.movies_250_list.append(tmp_dict)
    def get_page_urls(self):
        ''' 獲取分頁的url 由於豆瓣250電影太多, 因此進行了分頁, 咱們須要進入每一個分頁裏面, 進行爬取 '''
        movie_url_list = [self.movie.base_url]  # 聲明變量的時候, 先把第一個網址寫進去
        res = requests.get(self.movie.base_url)
        movie_index_tag_obj = BeautifulSoup(res.text, 'html.parser')
        a_tag_list = movie_index_tag_obj.find('div', class_='paginator').find_all('a')  # 從a標籤的href獲取url
        for i in a_tag_list[:9]:
            movie_url_list.append(self.movie.base_url+i['href'])
        return movie_url_list
class Movie():
    base_url = ''  # 入口url
    movies_250_list = []  # 電影250列表
    def __init__(self, base_url):
        ''' 初始化對象時, 存儲url, 方便之後調用 '''
        self.base_url = base_url
    def make_markdown(self):
        ''' 建立markdown, 把以前存儲的信息, 寫入markdown '''
        with open('douban250.md', 'w', encoding='utf8') as file:
            for index, movie_dict in enumerate(self.movies_250_list):
                file.write('![]({})\n'.format(movie_dict['movie_img']))
                file.write('## {}\n'.format(movie_dict['movie_title']))
                file.write(
                    '### {} [top{}-{}]\n'.format(movie_dict['movie_desc'], index+1, movie_dict['movie_score']))
                file.write('---\n\n')
if __name__ == "__main__":
    spider = Spider('https://movie.douban.com/top250')  # 初始化爬蟲, 傳入入口url
    spider.start()  # 開始爬取
複製代碼

快速跳轉: