「docker實戰篇」python的docker爬蟲技術-fiddler分析app抓取（12）

原創文章，歡迎轉載。轉載請註明：轉載自 IT人故事會，謝謝！ 原文連接地址： 「docker實戰篇」python的docker爬蟲技術-fiddler分析app抓取（12）

以前說了安卓模擬器使用和抓包工具的使用，以前其實就是在磨刀，俗話說的好磨刀不誤砍柴工，下一步就是數據的抓取。

準備工做

• 啓動fiddler

本機ip 192.168.1.122

• 夜神模擬器設置

橋接

wifi設置

剛纔windows系統查詢出來的ip

• app安裝（XX美食）

找個比較容易抓取的開始上手吧，在夜神模擬器市場中搜：豆果，下載圖片中的app

抓取目標

點擊圖片中的分類

• 分析app的數據

正常的app，請求的鏈接都是域名的方式，而且跟本身的app的名稱相關。 例如：豆果美食，app的請求鏈接也都是有dougou。

進入fiddler裏面，ctrl+f，輸入dougou

找到一個請求，發現返回是Unicode編碼，須要進行一些解碼

複製返回結果Unicode編碼到json.cn查看

分類發現跟app一致，任何app想進行動態的開發，都是經過請求獲取的。

查看詳情

下拉類別下牛肉的發現一個規律，原來每頁15條，哈哈url裏面有規律

PS：本次經過fiddler監控和發現app請求的規則。下次開始寫python腳本進行爬取數據。