如何進行手機APP的數據爬取？

做者：xiaoyu
微信公衆號：Python數據科學
知乎：Python數據分析師

---

平時咱們的爬蟲可能是針對網頁的，可是隨着手機端APP應用數量的增多，相應的爬取需求也就愈來愈多，所以手機端APP的數據爬取對於一名爬蟲工程師來講是一項必備的技能。咱們知道，網頁爬取的時候我常常使用F12開發者工具或者fiddler之類的工具來幫助咱們分析瀏覽器行爲。那對於手機的APP該如何使用呢？一樣的，咱們也可使用fiddler來分析。好了，本篇博主將會給你們介紹如何在電腦端使用fiddler進行手機APP的抓包。

首先了解一下fiddler（百度百科）：

Fiddler是一個http協議調試代理工具，它可以記錄並檢查全部你的電腦和互聯網之間的http通信，設置斷點，查看全部的「進出」Fiddler的數據（指cookie,html,js,css等文件，這些均可以讓你胡亂修改的意思）。 Fiddler 要比其餘的網絡調試器要更加簡單，由於它不單單暴露http通信還提供了一個用戶友好的格式。

完成此項工做的整個流程可分爲以下幾個步驟。

1. 下載fiddler抓包工具

fiddler的官方下載連接：https://www.telerik.com/downl...
安裝步驟沒什麼特別，常規下一步完成便可。

2. 設置fiddler

這裏有兩點須要說明一下。

• 設置容許抓取HTTPS信息包

操做很簡單，打開下載好的fiddler，找到 Tools -> Options，而後再HTTPS的工具欄下勾選Decrpt HTTPS traffic，在新彈出的選項欄下勾選Ignore server certificate errors。

• 設置容許外部設備發送HTTP/HTTPS到fiddler

相同的，在Connections選項欄下勾選Allow remote computers to connect，並記住上面的端口號8888，後面會使用到。

好了，須要的fiddler設置就配置完成了。

3. 設置手機端

設置手機端以前，咱們須要記住一點：電腦和手機須要在同一個網絡下進行操做。
可使用wifi或者手機熱點等來完成。

假如你已經讓電腦和手機處於同一個網絡下了，這時候咱們須要知道此網絡的ip地址，能夠在命令行輸入ipconfig簡單的得到，如圖。

好了，下面咱們開始手機端的設置。

手機APP的抓取操做對於Android和Apple系統均可用，博主使用的蘋果系統，在此以蘋果系統爲例。

進入到手機wifi的設置界面，選擇當前鏈接網絡的更多信息，在蘋果中是一個歎號。而後在最下面你會看到HTTP代理的選項，點擊進入。

進入後，填寫上面記住的ip地址和端口號，肯定保存。

4. 下載fiddler安全證書

在手機上打開瀏覽器輸入一個上面ip地址和端口號組成的url：http://192.168.43.38:8888，而後點擊FiddlerRoot certificate下載fiddler證書。

以上就簡單完成了全部的操做，最後咱們測試一下是否好用。

5. 手機端測試

就以知乎APP爲例，在手機上打開 知乎APP。下面是電腦上fiddler的抓包結果。

結果沒有問題，抓到信息包。而後就可使用咱們分析網頁的方法來進行後續的操做了。

---

關注微信公衆號Python數據科學，獲取 120G 人工智能 學習資料。