Python3 自定義請求頭消息headers

使用python爬蟲爬取數據的時候，經常會遇到一些網站的反爬蟲措施，一般就是針對於headers中的User-Agent，如果沒有對headers進行設置，User-Agent會聲明自己是python腳本,而如果網站有反爬蟲的想法的話，必然會拒絕這樣的連接。而修改headers可以將自己的爬蟲腳本僞裝成瀏覽器的正常訪問，來避免這一問題。 一、使用urllib請求頁面時   二、使用webdrive

>>阅读原文<<