python爬蟲怎麼設置請求頭

在請求網頁爬取的時候，輸出的text信息中會出現抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機制去解決這個問題。 headers是解決requests請求反爬的方法之一，相當於我們進去這個網頁的服務器本身，假裝自己本身在爬取數據。 對反爬蟲網頁，可以設置一些headers信息，模擬成瀏覽器取訪問網站 。 headers 谷歌或者火狐瀏覽器，在網頁面上點擊：右鍵–檢查；點擊更多工具-開發者工具

>>阅读原文<<