Python——爬蟲【Requests設置請求頭Headers】

1、爲什麼要設置headers?  在請求網頁爬取的時候，輸出的text信息中會出現抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機制去解決這個問題。 headers是解決requests請求反爬的方法之一，相當於我們進去這個網頁的服務器本身，假裝自己本身在爬取數據。 對反爬蟲網頁，可以設置一些headers信息，模擬成瀏覽器取訪問網站 。 2、 headers在哪裏找？  谷歌或者火狐瀏覽器

>>阅读原文<<