python爬蟲之如何隨機更換User-Agent

python爬蟲爬取網站內容時，若是什麼也沒帶，即不帶報頭headers，每每會被網站管理維護人員認定爲機器爬蟲。由於，此時python默認的user-agent如Python-urllib/2.1同樣。所以，網站管理人員會根據請求的user-agent斷定你是否是機器爬蟲。因此，此時每每就須要假裝user-agent，模擬成真實的瀏覽器去取出內容。下面是一些比較經常使用的瀏覽器的user-age

>>阅读原文<<