第七篇 爬蟲挖礦神器看這篇就夠了

申明：1.本文所介紹的方法僅供學習使用，嚴禁用做他用，謝謝配合！

          2.本文說起的每天基金app各位數據愛好者請不要太高頻率的獲取數據，以避免影響app的正常使用，在此謝謝你們，堅守技術人的底線，人人有責！

1、本文目的

1.筆者在網上沒有找到完整的關於使用iPhone + https + Charles + win系統 的抓包教程，本身花費了大概4h完成了此case的實戰

2.讓有一樣需求的開發、測試同窗 在學習此項技能的時候少走彎路節約時間

3.爲接下來的基金數據爬取打下環境的基礎（畢竟搭建環境只是能算是第0步，可是不少同窗就是由於沒有搭建好環境而放棄治療了）

 

2、抓包使用場景

1.在開發過程當中，一般咱們會遇到系列問題：

1.1在與後臺聯調的過程當中不斷的下斷點或者輸出 log ，以查看給後臺的參數是否正確，後臺返回給咱們的結果是否有誤。打斷點耗時，大量輸出 log 是代碼不夠整潔。

1.2 在咱們沒有修改代碼的狀況下出現問題，想找出是後臺的鍋仍是咱們的鍋。

2.在爬蟲的開發過程當中，一般咱們會遇到如下問題：

2.1在尋找發送get/post的某個參數的時候，你暢遊在鏈接的海洋中，可是就是找不見這個參數是從哪裏鑽出來的。

2.2在分析解決加載頁面和參數的時候，咱們分不清楚參數的執行順序的時候，能夠用其定位問題。

3、抓包軟件

    抓包軟件有不少好比:?wireshark、Charles、Fiddler?等。我使用過的軟件有Charles、Fiddler，通常建議在mac上用Charles、在win 系統上用Fiddler。固然老司機看我的喜愛了

4、Charles神器安裝及配置過程

1.Charles 軟件下載

能夠在官網進行下載:https://www.charlesproxy.com/

若想獲取永久使用的能夠後臺回覆數字：.

2.刪除已經安裝的charles證書

（win+r 鍵執行 certmgr.msc）並刪除已安裝證書

3.windows 安裝https證書（下面的那個證書選擇受信任的根證書頒發機構很重要。沒有勾選的，就抓不到報文啦）

 

4.配置軟件https

 

如上操做以後，能夠正常獲取網絡請求；

5. 查看Charles端口：

 

6.設置iphone手機代理

首先

配置iphone的http抓包

獲取當前電腦的ip地址並配置到iphone。以下圖配置。

獲取電腦的ip地址

 

配置iphone http代理，這個安裝包默認的代理端口是8888

 

7.配置iphone的https代理

安裝證書

在iphone自代瀏覽器輸入：http://chls.pro/ssl

如上配置成功，能夠成功抓取移動端請求了。

 

5、抓包測試

    經過以上配置，咱們就能夠愉快的抓包了，能夠進行數據挖礦了，咱們的目標依舊就每天基金的app端，爲什麼如此青睞每天基金呢？抓包寫爬蟲不是目的，咱們要的是必要的數據，爲後續作量化分析作準備，you know?

 

總結：

    本文經過筆者親自實踐的方式耗時4h完了以上工做，咱們的挖礦（基金數據）神器就配置到位了，後續咱們就能夠在此基礎上作擴展了，好了，本期的內容就先分享到這裏，未完待續......

 

 

 

 

    當你發現本身的才華撐不起野心時，請安靜的坐下來學習吧。    

                                                                 ------仍是牛

                 

公衆號ID：pythonCoder1024掃碼關注最新動態

          若是你以爲公衆號的內容不錯，能夠推薦於身邊的朋友，你的每次確定和受益都會成爲我前進的動力，一塊兒加油！