Python爬蟲--- 1.5 爬蟲實踐： 獲取百度貼吧內容

原文連接：https://www.fkomm.cn/article/...

通過前期大量的學習與準備，咱們重要要開始寫第一個真正意義上的爬蟲了。本次咱們要爬取的網站是：百度貼吧，一個很是適合新人練手的地方，那麼讓咱們開始吧。

本次要爬的貼吧是<< 西部世界 >>，西部世界是我一直很喜歡的一部美劇，平時有空也會去看看吧友們都在聊些什麼。因此此次選取這個吧來做爲實驗材料。

貼吧地址 : https://tieba.baidu.com/f?kw=...

Python版本 : 3.6 瀏覽器版本： Chrome

目標分析：

因爲是第一個實驗性質爬蟲，咱們要作的很少，咱們須要作的就是：

1. 從網上爬下特定頁碼的網頁。
2. 對於爬下的頁面內容進行簡單的篩選分析。
3. 找到每一篇帖子的 標題、發帖人、日期、樓層、以及跳轉連接。
4. 將結果保存到文本。

前期準備： 看到貼吧的url地址是否是以爲很亂？有那一大串認不得的字符？

其實這些都是中文字符， %E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C

在編碼以後就是： 西部世界。

連接的末尾處：&ie=utf-8 表示該鏈接採用的是utf-8編碼。

windows的默認編碼是GBK，在處理這個鏈接的時候，須要咱們在Python裏手動設置一下，纔可以成功使用。

Python3相對於Python2對於編碼的支持有了很大的提高，默認全局採用utf-8編碼，因此建議還在學Python2的小夥伴趕忙投入Python3的懷抱，真的省了老大的功夫了。

接着咱們翻到貼吧的第二頁：
url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50

注意到沒有，鏈接的末尾處多了一個參數&pn=50, 這裏咱們很容易就能猜到，這個參數的與頁碼的聯繫：

• &pn=0 ： 首頁
• &pn=50： 第二頁
• &pn=100：第三頁
• &pn=50*n 第n頁
• 50 表示 每一頁都有50篇帖子。

這下咱們就能經過簡單的url修改，達到翻頁的效果了。

chrome開發人員工具的使用：

要寫爬蟲，咱們必定要會使用開發工具，提及來這個工具是給前端開發人員用的，可是咱們能夠經過它快速定位咱們要爬取的信息，並找到相對應的規律。

• 按cmmand+option+I 打開chrome工具，（win能夠看按F12或者手動在chrome工具欄裏打開）

• 使用模擬點擊工具快速定位到一個單獨帖子的位置。(左上角的鼠標箭頭圖標)

咱們仔細的觀察一下，發現每一個帖子的內容都包裹在一個li標籤內。

這樣咱們只要快速找出全部的符合規則的標籤，在進一步分析裏面的內容，最後篩選出數據就能夠了。

內容分析

• 咱們先寫出抓取頁面內容的函數：

這是前面介紹過的爬取框架，之後咱們會常常用到。

import requests 
from bs4 import BeautifulSoup

# 首先咱們寫好抓取網頁的函數
def get_html(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        #這裏咱們知道百度貼吧的編碼是utf-8，因此手動設置的。爬去其餘的頁面時建議使用：
        # r.endcodding = r.apparent_endconding 
        r.encoding='utf-8'
        return r.text
    except:
        return " ERROR "

• 接着咱們摘取其中的詳細信息：

咱們來分一下每個li標籤內部的結構：一個大的li標籤內包裹着不少個 div標籤，而咱們要的信息就在這一個個div標籤以內：

# 標題&帖子連接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季，中英字，未❗️刪❕減.?任性給" target="_blank" class="j_th_tit ">【高淸】西部世界1-2季，中英字，未❗️刪❕減.?任性給</a>

#發帖人：
<span class="tb_icon_author no_icon_author" title="主題做者: 愛學習的萌新_" data-field="{&quot;user_id&quot;:829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="{&quot;user_id&quot;:829797296}" target="_blank" title="貼吧超級會員"></a></span>

#回覆數量：

<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回覆">822</span>
</div>

#發帖日期：
<span class="pull-right is_show_create_time" title="建立時間">7-20</span>

分析完以後，咱們就能很容易的經過soup.find()方法獲得咱們想要的結果。

具體代碼的實現：

'''
抓取百度貼吧---西部世界吧的基本內容
爬蟲線路： requests - bs4
Python版本： 3.6
OS： mac os 12.13.6
'''

import requests
import time
from bs4 import BeautifulSoup

# 首先咱們寫好抓取網頁的函數


def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        # 這裏咱們知道百度貼吧的編碼是utf-8，因此手動設置的。爬去其餘的頁面時建議使用：
        # r.endcodding = r.apparent_endconding
        r.encoding = 'utf-8'
        return r.text
    except:
        return " ERROR "


def get_content(url):
    '''
    分析貼吧的網頁文件，整理信息，保存在列表變量中
    '''

    # 初始化一個列表來保存全部的帖子信息：
    comments = []
    # 首先，咱們把須要爬取信息的網頁下載到本地
    html = get_html(url)

    # 咱們來作一鍋湯
    soup = BeautifulSoup(html, 'lxml')

    # 按照以前的分析，咱們找到全部具備‘ j_thread_list clearfix’屬性的li標籤。返回一個列表類型。
    liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})

    # 經過循環找到每一個帖子裏的咱們須要的信息：
    for li in liTags:
        # 初始化一個字典來存儲文章信息
        comment = {}
        # 這裏使用一個try except 防止爬蟲找不到信息從而中止運行
        try:
            # 開始篩選信息，並保存到字典中
            comment['title'] = li.find(
                'a', attrs={'class': 'j_th_tit '}).text.strip()
            comment['link'] = "http://tieba.baidu.com/" + \
                li.find('a', attrs={'class': 'j_th_tit '})['href']
            comment['name'] = li.find(
                'span', attrs={'class': 'tb_icon_author '}).text.strip()
            comment['time'] = li.find(
                'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
            comment['replyNum'] = li.find(
                'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
            comments.append(comment)
        except:
            print('出了點小問題')

    return comments


def Out2File(dict):
    '''
    將爬取到的文件寫入到本地
    保存到當前目錄的 TTBT.txt文件中。

    '''
    with open('TTBT.txt', 'a+') as f:
        for comment in dict:
            f.write('標題： {} \t 連接：{} \t 發帖人：{} \t 發帖時間：{} \t 回覆數量： {} \n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))

        print('當前頁面爬取完成')


def main(base_url, deep):
    url_list = []
    # 將全部須要爬去的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    print('全部的網頁已經下載到本地！ 開始篩選信息。。。。')

    #循環寫入全部的數據
    for url in url_list:
        content = get_content(url)
        Out2File(content)
    print('全部的信息都已經保存完畢！')


base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 設置須要爬取的頁碼數量
deep = 3

if __name__ == '__main__':
    main(base_url, deep)

代碼裏有詳細的註釋和思路，看不懂的話 多看幾遍 下面是爬完的結果：

好了今天的小例子到這裏就結束了。

---

相關文章和視頻推薦

圓方圓學院聚集 Python + AI 名師，打造精品的 Python + AI 技術課程。 在各大平臺都長期有優質免費公開課，歡迎報名收看。
公開課地址：https://ke.qq.com/course/362788