爲了爬蟲換個頭,我用python實現三種隨機請求頭方式!

相信大家在爬蟲中都設置過請求頭 user-agent 這個參數吧? 在請求的時候,加入這個參數,就可以一定程度的僞裝成瀏覽器,就不會被服務器直接識別爲spider.demo.code ,據我瞭解的,我很多讀者每次都是直接從network 中去複製 user-agent 然後把他粘貼到代碼中, 這樣獲取的user-agent 沒有錯,可以用, 但是如果網站反爬措施強一點,用固定的請求頭可能就有點問題
相關文章
相關標籤/搜索