爬蟲搜索基礎篇（三）

2.App內容

如今的網絡資源同時能夠在電腦和手機上搜索到，尤爲是App的盛行，更加方便了爬蟲的搜索。由於只須要抓取一下API就行。若是是解構文本信息，又同時能夠在電腦和手機端上截取，抓取APP是最佳選擇。

抓包主要運用於獲取App數據，把PC和手機設置同一個局域網內，在電腦上安裝好抓包軟件，把ip地址記錄下來，在手機的網絡地址裏設置代理，再打開手機的App進行操做，若是有數據發送請求，就會被抓包軟件截取記錄。

三．瞭解網絡請求

如何發送正確的請求是很重要的，這裏麪包括如何正確避免網頁的限制、如何正確地接受數據，若是請求發送錯誤，是沒法完成操做的。這裏要詳細的說一下請求的操做和模擬請求。

其實爬蟲並不神祕深奧，它就是一次次地HTTP請求，不管是網頁仍是App，只要找到合適的連接或者API，丟一個請求包過去，獲得的返回包就是它說截取到的數據了，綜合來講有一下幾點：

 

抓包最主要是把URL搞明白才行，發請求過去，找到Headers裏面的內容，這裏是問題出的最多的地方，通常來講用戶代理, 推薦信息, 瀏覽器緩存和身份驗證是最常限制的幾個字段。

請求的內容通常都是把主鍵值進行urlencode，不少人發現返回的數據爲何是空的，若是URL和請求方法都沒錯的話，這裏面的緣由主要有如下幾個方面：

 

在請求分析的時候，觀察第五個返回有沒有被限制或者重定向，主要是把1-4點和模擬請求吃透徹。

剛學的想上手試試嗎？在線編程，碼農谷智能開發在線編輯器