user-agent池

緣由
一部分網站反爬，會經過檢查請求的請求頭裏是否有瀏覽器的user-agent來判斷請求是不是爬蟲。當你在請求頭裏加上user-agent，而後，進行反覆的請求後，系統又會判斷請求時爬蟲，由於單一版本瀏覽器請求過多，爲了達到以假亂真的目的，你須要構建一個user-agent池，而後隨機調用，那樣相對比較繁瑣但有效，若是你不想構造池呢，請看下面。

解決方法
pip install fake_useragent

from fake_useragent import UserAgent

headers = {
‘User-Agent’: UserAgent().random,
}

使用這個包之後，媽媽不再用擔憂，構建user-agent池了。
————————————————
版權聲明：本文爲CSDN博主「笑笑布丁」的原創文章，遵循CC 4.0 by-sa版權協議，轉載請附上原文出處連接及本聲明。
原文連接：https://blog.csdn.net/qq_40244755/article/details/90137882