移動端數據爬取

 前言

  •    隨着移動市場的火熱,各大平臺都陸陸續續的推出了本身的移動端APP來拉攏吸引和便捷其廣大的用戶。那麼在移動端的平臺當時勢必會出現大量有價值的信息和數據,那這些數據咱們是否能夠去享用一下呢?那麼接下來就進入咱們的移動端APP數據的爬蟲中來吧。

今日概要web

  • fiddler簡介
  • 手機APP抓包設置
    • fiddler設置
    • 安裝證書下載
    • 安全證書安裝
    • 局域網設置
    • fiddler手機抓包測試

今日詳情windows

1 什麼是Fiddler?
    Fiddler是位於客戶端和服務器端的HTTP代理,也是目前最經常使用的http抓包工具之一 。 它可以記錄客戶端和服務器之間的全部 HTTP請求,能夠針對特定的HTTP請求,分析請求數據、設置斷點、調試web應用、修改請求的數據,甚至能夠修改服務器返回的數據,功能很是強大,是web調試的利器。瀏覽器

    既然是代理,也就是說:客戶端的全部請求都要先通過Fiddler,而後轉發到相應的服務器,反之,服務器端的全部響應,也都會先通過Fiddler而後發送到客戶端,基於這個緣由,Fiddler支持全部能夠設置http代理爲127.0.0.1:8888的瀏覽器和應用程序。使用了Fiddler以後,web客戶端和服務器的請求以下所示:安全


    利用能夠設置代理的這個特色,咱們就能夠對手機APP進行抓包了。怎麼設置?不急不急,讓我先把Fiddler安裝上吧!服務器

     Fiddler下載地址:https://www.telerik.com/fiddler網絡

    傻瓜式安裝,一鍵到底。Fiddler軟件界面如圖所示:工具

2 手機APP抓包設置

a. Fiddler設置

    打開Fiddler軟件,打開工具的設置。(Fiddler軟件菜單欄:Tools->Options)post

 在HTTPS中設置以下:測試

 在Connections中設置以下,這裏使用默認8888端口,固然也能夠本身更改,可是注意不要與已經使用的端口衝突:.net

Allow remote computers to connect:容許別的機器把請求發送到fiddler上來

b. 安全證書下載
    在電腦瀏覽器中輸入地址:http://localhost:8888/,點擊FiddlerRoot certificate,下載安全證書:


c. 安全證書安裝
    證書是須要在手機上進行安裝的,這樣在電腦Fiddler軟件抓包的時候,手機使用電腦的網卡上網纔不會報錯。

手機端爬取:

第一步:電腦聯網和手機聯網在一個局域網,手機和電腦都是連的公司網絡

第二步:找到共同鏈接的網,長按```而後點擊修改網絡

 

 

第三步:點擊代理選擇手動,填寫電腦服務器主機名和服務器端口,端口爲Fiddler設置的8888端口,服務器主機名可經過如下方式查看

 

 查看服務器主機名:windows鍵 + R   ===>  輸入cmd  ===>回車 ===>ipconfig  ===>獲取到IPv4 地址即爲服務器主機名

第四部:證書安裝

證書放入手機的內置或外置存儲卡上,而後經過手機的"系統安全-》從存儲設備安裝"菜單安裝證書。而後找到拷貝的FiddlerRoot.cer進行安裝便可。安裝好以後,能夠在信任的憑證中找到咱們已經安裝好的安全證書。

    蘋果手機安裝:

        - 保證手機網絡和fiddler所在機器網絡是同一個網段下的

        - 在safari中訪問http://fiddle機器ip:fiddler端口,進行證書下載。而後進行安裝證書操做。

        - 在手機中的設置-》通用-》關於本機-》證書信任設置-》開啓fiddler證書信任

d. 局域網設置
    想要使用Fiddler進行手機抓包,首先要確保手機和電腦的網絡在一個內網中,可使用讓電腦和手機都鏈接同一個路由器。固然,也可讓電腦開放WIFI熱點,手機連入。這裏,我使用的方法是,讓手機和電腦同時連入一個路由器中。最後,讓手機使用電腦的代理IP進行上網。
 在手機上,點擊鏈接的WIFI進行網絡修改,添加代理。進行手動設置,ip和端口號都是fiddler機器的ip和fiddler上設置的端口號。

e. Fiddler手機抓包測試

    上述步驟都設置完成以後,用手機瀏覽器打開百度首頁,咱們就能夠順利抓包了

相關文章
相關標籤/搜索