貼吧小爬蟲之爬取源碼

在作爬蟲工做以前，永遠先作好筆記：

肯定要爬取的url，爬取的具體內容是什麼，用什麼形式展示爬取到的內容。

博客的標題你們也看到了，爬取的是貼吧的源碼，也就是說任何貼吧的源碼都能爬。

不光第一頁還要爬，第二頁第三頁……都要爬。

肯定了上面的內容，那就能夠開始代碼的編寫了。

我最近在玩穿越火線，那就爬穿越火線吧：

首先獲取穿越火線貼吧的標準url：

"https://tieba.baidu.com/f?kw=穿越火線"

分析頁碼不一樣時url的區別：

第一頁："https://tieba.baidu.com/f?kw=穿越火線&ie=utf-8&pn=0"

第二頁："https://tieba.baidu.com/f?kw=穿越火線&ie=utf-8&pn=50"

第三頁："https://tieba.baidu.com/f?kw=穿越火線&ie=utf-8&pn=100"

對比分析，咱們能夠知道pn的值等於（頁碼-1）*50。

那麼收集headers信息，就能夠開始了：

import requests

 

class TiebaSpider:

    def __init__(self,tieba_name):        #實現可以爬取任意貼吧的功能，因此貼吧的名字須要作一個變量出來。

        self.tieba_name=tieba_name

        self.url="https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"

        self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26

Safari/537.36 Core/1.63.6814.400QQBrowser/10.3.3005.400"}

    def get_url_list(self):#構造url列表

        url_list=[]

        for i in range(3):  #可以爬取三頁，i是0，1，2。

            url_list.append(self.url.format(i*50))

        return url_list

    def parse_url(self,url):#發送請求，獲取響應

        response=requests.get(url,headers=self.headers)

        return response.content.decode()  #顯示源碼

    def save_html(self,html_str,page_num):#保存html字符串到文件

        file_path="{}-第{}頁.html".format(self.tieba_name,page_num)

        with open(file_path,"w",encoding="utf-8") as f:  #建立文件。指定unicode編碼爲utf-8，很關鍵的一步。

        f.write(html_str)

    def run(self):#實現主要邏輯

    #1.構造url列表

        url_list=self.get_url_list()

    #2.遍歷，發送請求，獲取相應

        for url in url_list:

            html_str=self.parse_url(url)  #把源碼存儲到html_str變量之中。

    #3.保存html字符串

            page_num=url_list.index(url)+1     #用index檢查是否存在url，並報出索引位置，是從0開始的。

            self.save_html(html_str,page_num)

            print(url,"爬取成功！")

if __name__=="__main__":

    tieba_spider=TiebaSpider("穿越火線")      #創建一個穿越火線吧的實例，這樣作能夠爬任意的貼吧。

    tieba_spider.run() 

 

敲爬蟲代碼的時候，思緒必定要清晰，先打好run()的主要功能，再去一一分別實現出來