【python】自動生成必定數量的隨機請求頭header，對爬蟲進行假裝

背景： 經過User-Agent構建請求頭headers可以將爬蟲假裝，可是有的網站會去檢查請求頭，進而封掉ip地址。因此在每次提交網站請求的時候，使用隨機請求頭迷惑對方能更好的保護咱們的爬蟲。python 如我以前的例子，用了一個比較笨的方法：蒐集各類User-Agent構建請求頭，寫一個隨機函數，每次挑選一個User-Agent。然而人生苦短，聰明的程序員早已專門設計了一個庫來生成header

>>阅读原文<<