寫python爬蟲用到的幾個工具

一、瀏覽器抓包工具 作用主要是解析瀏覽器客戶端與服務器之間的消息交互。 可以看到HTTP消息頭、消息行和消息體。 得到爬蟲程序必須的 UA、cookie等信息，並能夠分析不同的瀏覽器請求所帶的參數以及瀏覽器的響應。 以CHROME爲例，在網頁右鍵檢查，或直接F12就可以打開抓包工具（開發工具）。 其中最有用的是NETWORK 這個tab，可以看到各個消息，JS,CSS，以及圖片調用的情況。 二、代

>>阅读原文<<