1、前言
近期，《三十而已》這部電視劇走進人們的視野之中，而且屢次上微博等平臺的熱搜，因而決定在知乎上看看你們對這部劇的見解，進行關鍵詞的爬蟲。瀏覽器
2、爬取過程遇到的問題
原本覺得，知乎的抓包會很容易，因而直接打開瀏覽器，經過關鍵詞的搜索，直接進入咱們須要爬取的頁面（下圖），但抓包以後發現，抓到的網址，直接請求並不能獲得咱們須要的數據。
這時候，我想到了神器：selenium，可是這樣子的話一點挑戰難度都沒有，實在沒意思，因此決定對知乎app進行爬取。
app
3、準備工具
要想對手機app進行抓取，這時候無非就要用到chales、fiddler、mitmproxy等中間人抓包工具，這裏我選擇用mitmproxy，其他抓包工具的用法無非是大同小異，很是容易上手，就不作贅述了。工具
4、進行知乎app的抓包
不難發現，知乎的頁面是經過瀑布流的方式給咱們發送數據的，所以咱們只要對頁面進行下拉，很容易抓到咱們須要的數據。
一邊下拉，一邊看着抓包工具，隨意點進去幾個網址。哎？這不就是咱們須要的數據嗎，比《甄嬛傳》還精彩可還行。
spa
5、結果展現
6、總結
本文是想展現對手機app進行抓包的一個具體過程，由於關鍵字較多，所以沒有設立特定字段，從上圖能夠看出，具體的數據咱們已經獲取了，感興趣的小夥伴們，能夠自行寫一下代碼，爬取本身想看的內容。
對app爬蟲的方式有好幾種，我這個較爲簡單，若是有大神對app逆向有深刻研究的，能夠在評論區下方進行討論，感謝！
blog