拒絕低效！Python教你爬蟲公衆號文章和連接

本文首發於公衆號「Python知識圈」，如需轉載，請在公衆號聯繫做者受權。

前言

上一篇文章整理了的公衆號全部文章的導航連接，其實若是手動整理起來的話，是一件很費力的事情，由於公衆號裏添加文章的時候只能一篇篇的選擇，是個單選框。

面對幾百篇的文章，這樣一個個選擇的話，是一件苦差事。

pk哥做爲一個 Pythoner，固然不能這麼低效，咱們用爬蟲把文章的標題和連接等信息提取出來。

抓包

咱們須要經過抓包提取公衆號文章的請求的 URL，參考以前寫過的一篇抓包的文章 Python爬蟲APP前的準備，pk哥此次直接抓取 PC 端微信的公衆號文章列表信息，更簡單。

我以抓包工具 Charles 爲例，勾選允許抓取電腦的請求，通常是默認就勾選的。

爲了過濾掉其餘無關請求，咱們在左下方設置下咱們要抓取的域名。

打開 PC 端微信，打開 「Python知識圈」公衆號文章列表後，Charles 就會抓取到大量的請求，找到咱們須要的請求，返回的 JSON 信息裏包含了文章的標題、摘要、連接等信息，都在 comm_msg_info 下面。

這些都是請求連接後的返回，請求連接 url 咱們能夠在 Overview 中查看。

經過抓包獲取了這麼多信息後，咱們能夠寫爬蟲爬取全部文章的信息並保存了。

初始化函數

公衆號歷史文章列表向上滑動，加載更多文章後發現連接中變化的只有 offset 這個參數，咱們建立一個初始化函數，加入代理 IP，請求頭和信息，請求頭包含了 User-Agent、Cookie、Referer。

這些信息都在抓包工具能夠看到。

請求數據

經過抓包分析出來了請求連接，咱們就能夠用 requests 庫來請求了，用返回碼是否爲 200 作一個判斷，200 的話說明返回信息正常，咱們再構建一個函數 parse_data() 來解析提取咱們須要的返回信息。

def request_data(self):
    try:
        response = requests.get(self.base_url.format(self.offset), headers=self.headers, proxies=self.proxy)
        print(self.base_url.format(self.offset))
        if 200 == response.status_code:
           self.parse_data(response.text)
    except Exception as e:
        print(e)
        time.sleep(2)
        pass

提取數據

經過分析返回的 Json 數據，咱們能夠看到，咱們須要的數據都在 app_msg_ext_info 下面。

咱們用 json.loads 解析返回的 Json 信息，把咱們須要的列保存在 csv 文件中，有標題、摘要、文章連接三列信息，其餘信息也能夠本身加。

def parse_data(self, responseData):
            all_datas = json.loads(responseData)
            if 0 == all_datas['ret'] and all_datas['msg_count']>0:
                summy_datas = all_datas['general_msg_list']
                datas = json.loads(summy_datas)['list']
                a = []
                for data in datas:
                    try:
                        title = data['app_msg_ext_info']['title']
                        title_child = data['app_msg_ext_info']['digest']
                        article_url = data['app_msg_ext_info']['content_url']
                        info = {}
                        info['標題'] = title
                        info['小標題'] = title_child
                        info['文章連接'] = article_url
                        a.append(info)
                    except Exception as e:
                        print(e)
                        continue

                print('正在寫入文件')
                with open('Python公衆號文章合集1.csv', 'a', newline='', encoding='utf-8') as f:
                    fieldnames = ['標題', '小標題', '文章連接']  # 控制列的順序
                    writer = csv.DictWriter(f, fieldnames=fieldnames)
                    writer.writeheader()
                    writer.writerows(a)
                    print("寫入成功")

                print('----------------------------------------')
                time.sleep(int(format(random.randint(2, 5))))
                self.offset = self.offset+10
                self.request_data()
            else:
                print('抓取數據完畢！')

這樣，爬取的結果就會以 csv 格式保存起來。

運行代碼時，可能會遇到 SSLError 的報錯，最快的解決辦法就是 base_url 前面的 https 去掉 s 再運行。

保存markdown格式的連接

常常寫文章的人應該都知道，通常寫文字都會用 Markdown 的格式來寫文章，這樣的話，無論放在哪一個平臺，文章的格式都不會變化。

在 Markdown 格式裏，用 [文章標題](文章url連接) 表示，因此咱們保存信息時再加一列信息就行，標題和文章連接都獲取了，Markdown 格式的 url 也就簡單了。

md_url = '[{}]'.format(title) + '({})'.format(article_url)

爬取完成後，效果以下。

咱們把 md連接這一列所有粘貼到 Markdown 格式的筆記裏就好了，大部分的筆記軟件都知道新建 Markdown 格式的文件的。

這樣，這些導航文章連接整理起來就是分類的事情了。

你用 Python 解決過生活中的小問題嗎？歡迎留言討論。

歡迎關注公衆號「Python知識圈」，公衆號後臺回覆關鍵字，獲取更多幹貨。

回覆「英語」：送你英語 7000 單詞速記法，親測很是有效。
回覆「編程」：免費獲贈2019最新編程資料，認真學完BAT offer 拿到手軟。
回覆「賺錢」：領取簡單可實操的 36 個賺錢的小項目，天天多賺100塊零花錢。
回覆「電子書」：免費送你10本Python電子書。