移動端數據爬取

1.Fiddler的概念

　　Fiddler是位於客戶端和服務器端的HTTP代理，也是目前最經常使用的http抓包工具之一 。 它可以記錄客戶端和服務器之間的全部 HTTP請求，能夠針對特定的HTTP請求，分析請求數據、設置斷點、調試web應用、修改請求的數據，甚至能夠修改服務器返回的數據，功能很是強大，是web調試的利器。

2.安裝

　　 Fiddler下載地址：https://www.telerik.com/fiddler

3.手機App抓包設置

a.Fiddler設置

　　打開Fiddler軟件，打開工具的設置。(Fiddler軟件菜單欄：Tools->Options)

 在HTTPS中設置以下：

　　在Connections中設置以下，這裏使用默認8888端口，固然也能夠本身更改，可是注意不要與已經使用的端口衝突：

　　Allow remote computers to connect:容許別的機器把請求發送到fiddler上來

b. 安全證書下載
　　在電腦瀏覽器中輸入地址：http://localhost:8888/，點擊FiddlerRoot certificate，下載安全證書：

c. 安全證書安裝
　　 證書是須要在手機上進行安裝的，這樣在電腦Fiddler軟件抓包的時候，手機使用電腦的網卡上網纔不會報錯。

　　Android手機安裝：把證書放入手機的內置或外置存儲卡上，而後經過手機的"系統安全-》從存儲設備安裝"菜單安裝證書。

　　而後找到拷貝的FiddlerRoot.cer進行安裝便可。安裝好以後，能夠在信任的憑證中找到咱們已經安裝好的安全證書。

　　蘋果手機安裝：

        - 保證手機網絡和fiddler所在機器網絡是同一個網段下的

        - 在safari中訪問http://fiddle機器ip：fiddler端口，進行證書下載。而後進行安裝證書操做。

        - 在手機中的設置-》通用-》關於本機-》證書信任設置-》開啓fiddler證書信任

d. 局域網設置
　　想要使用Fiddler進行手機抓包，首先要確保手機和電腦的網絡在一個內網中，可使用讓電腦和手機都鏈接同一個路由器。固然，也可讓電腦開放WIFI熱點，手機連入。這裏，我使用的方法是，讓手機和電腦同時連入一個路由器中。最後，讓手機使用電腦的代理IP進行上網。
　　在手機上，點擊鏈接的WIFI進行網絡修改，添加代理。進行手動設置，ip和端口號都是fiddler機器的ip和fiddler上設置的端口號。