Python爬蟲構建隨機請求頭headers

簡介： 經過User-Agent構建請求頭headers可以將爬蟲假裝，可是有的網站會有反爬技術。會去檢查請求頭，進而封掉ip地址。因此一個稍微不錯的方法就是使用不用的User-Agent構建請求頭，在每次提交網站請求的時候，使用隨機請求頭迷惑對方。 構造隨機請求頭： 一種比較笨的方法就是去搜集各類User-Agent構建請求頭，寫一個隨機函數，每次挑選一個User-Agent。既然這麼繁瑣的工做

>>阅读原文<<