「docker實戰篇」python的docker爬蟲技術-導學（一）

這個專輯開始從環境的搭建到app數據抓取的整套的實戰流程。

咱們會學到什麼？

老鐵，只有個電腦沒有手機怎麼辦，沒事我想到了用模擬器，說實話模擬器沒有手機爬的效率快，可是模擬器都會了手機仍是問題不？

• 安卓模擬器的搭建
• 抓包工具
• 自動化控制工具使用

模擬點擊，模擬輸入等功能

• python編寫爬蟲app數據
• 基於docker的多app端數據抓取系統

拿到數據能幹什麼？

• 作個互聯網項目，沒有基礎數據行不行
• 數據庫分析

對比其餘公司的狀態，對公司的運營有指導做用。分析用戶的行爲和消費需求。

• 用戶畫像

精準的定位用戶，對用戶進行分類。

• 統計系統

拿到報表數據，做爲指導

• 商業競爭

經過對手app應用投放的數據，最近在某個城市啓動了那麼新的產品，某個營銷數據和趨勢，能夠了解對手在某個城市的運營情況，從而相對的應對。

對於本身的好處

• 技能的提高

web端的抓取思路不少，github一堆一堆的。可是app抓取應用數據的技能不多。

• 面試必問

1. 如何抓取App應用的數據？
2. 抓取過哪些應用上的數據？
3. 抓包工具如何使用？

App的數據好抓嗎？

既簡單又困難

• 簡單

app裏的數據比web端更容易抓取，反爬能力也沒那麼強。大部分都是http或者https協議，返回的數據類型大多數爲json。直接解析json就能夠了。

• 困難

1. 可能須要適當的反編譯，解析出來加密算法並抓取信息
2. 可能加固了，須要脫殼，而後反編譯，分析出加密算法並抓取信息
3. 須要破解經過各式各樣的證書，簽名，設備綁定等方法，找到隱藏加密算法

python爬蟲工程師須要的技能點

1. python爬蟲開發經驗
2. java開發經驗
3. android開發經驗
4. app 逆向
5. app 脫殼
6. 破解加密算法

最終目的

python自動化應用，抓包工具，解析app應用的方法來進行數據的抓取。不須要破解加密算法。

PS：以前也學過一段時間python，爬過一些數據和app，公司目前還停留在手動點擊的測試裏，同事也催我幫忙寫套教程，最好是圍繞docker的完成python的自動化測試，使用app測試工具appium。就開始行動了。裏面但是有不少的灰色技術，潮流技術，多工具對比，哈哈。但願老鐵能夠get到！