爬蟲筆記(十)——學會使用Fiddler

Fiddler是一個常見的抓包分析軟件,同時我們可以利用它詳細地對HTTP請求進行分析,並模擬對應的HTTP請求。 爲什麼使用Fiddler軟件?    網絡爬蟲是自動爬取網頁的程序,在爬取的過程中必然涉及客戶端和服務器端之間的通信,自然也需要發送一些HTTP請求,並接收服務器返回的結果。在一些稍複雜的網絡請求中,我們直接看網址變化是看不出規律的,此時如果要進行自動化爬取網頁,就必須要通過程序構造
相關文章
相關標籤/搜索