在工做中進行爬蟲時,常常會須要提供User-Agent,若是不提供User-Agent,會致使爬蟲在請求網頁時,請求失敗,因此須要大量User-Agent。如何生成合法的User-Agent?sql
使用fake-useragent庫就能夠解決該問題。chrome
安裝:瀏覽器
pip install fake-useragent
使用:dom
該模塊使用很是簡單。ide