關於Python爬蟲時UA假裝的實現。

目錄

• • 1.UA假裝
  • • 1.1User-Agent
    • 1.2反爬機制
    • 1.3反反爬機制
  • 2.如何實現UA假裝？
  • • 2.1代碼的實現

1.UA假裝

UA假裝通俗來說就是請求載體身份標識的假裝。

1.1User-Agent

請求載體身份標識，經過瀏覽器發起的請求，請求載體爲瀏覽器，則該請求的User-Agent爲瀏覽器的身份標識，若是使用爬蟲程序發起的請求，則該請求的載體爲爬蟲程序，則該請求的User-Agent爲爬蟲程序的身份標識。服務器能夠經過該值來判斷髮起請求的是瀏覽器仍是爬蟲程序。

1.2反爬機制

某些門戶網站會對訪問該網站的請求中的User-Agent進行捕獲和判斷，若是該請求的UA爲爬蟲程序，那麼就拒絕該提供請求數據。

1.3反反爬機制

將爬蟲的UA假裝成某一款瀏覽器的身份標識。

headers={ 
 
   
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

2.如何實現UA假裝？

首先打開你要爬取的瀏覽器，好比咱們要爬取肯德基的官方網站的數據。

接着，

2.1代碼的實現

headers = { 
 
   
      'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }

本文同步分享在 博客「Kinght_123」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。