python定向爬蟲實例（五）

功能描述；爬取B站的番劇排名信息

程序設計：

• 獲取B站排名信息的HTML文本內容
• 解析HTML文本獲取排名、番劇名稱等信息
• 將獲取到的信息存儲到文件中

代碼：

#爬取B站番劇排名等信息，並將排名信息存儲到文件中

import requests,bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    try:
        r=requests.get(url,headers={'User-Agent':'Mozilla/5.0'})
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parseHTML(demo,file_path):
    soup=BeautifulSoup(demo,"html.parser")
    f=open(file_path,'w')
    for li in soup.find_all('li','rank-item'):
        info_dict={}
        try:
            rank=li.find('div','num').string    #排名
            info_div=li.find('div','info')
            count=info_div.find('div','bangumi-info').string    #集數
            data_span=info_div.find_all('span','data-box')      #其餘信息
            #排名,集數,番劇名,播放量,彈幕量,追番量,綜合得分
            info_dict.update({
                "排名":rank,
                "集數":count,
                "番劇名":info_div.find('a').string,
                "播放量":data_span[0].contents[1],
                "彈幕量":data_span[1].contents[1],
                "追番量":data_span[2].contents[1],
                "綜合評分":info_div.find('div','pts').find('div').string,
            })
            f.write(str(info_dict)+'\n')
        except:
            continue
    f.close()
    print("爬取完畢!")

def main():
    url='https://www.bilibili.com/ranking/bangumi/13/0/3'
    file_path="D://嗶哩嗶哩番劇排名.txt"    #保存路徑
    demo=getHTMLText(url)   
    parseHTML(demo,file_path)
main()

效果：