python爬蟲之如何隨機更換User-Agent

這是python裏面的一個useragent池，很是好用！具體怎麼用呢？

首先，安裝fake-useragent

    pip install fake-useragent

而後，使用方法

 

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意，有些網站可能會根據user-agent來封IP，也就是說他們會根據同一個IP下，若是是不少個不一樣user-agent在訪問，那麼，此時，他們就會斷定爲爬蟲。

對應策略的話能夠架構一個ip代理池配合UA使用。