python反爬蟲【一】

1.什麼是User-Agent?

答：User-Agent簡稱UA,使得服務器可以識別客戶使用的操做系統及版本、CPU類型、瀏覽器版本，瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。一些網站經常經過判斷UA來給不一樣的操做系統，不一樣的瀏覽器發送不一樣的頁面，所以可能形成某些頁面沒法在某個瀏覽器中正常顯示，但能夠經過假裝UA繞過

網站針對UA的反爬蟲:經過配置nginx，設置請求頭中帶有python/Java字樣，返回403,禁止訪問

2.字體反爬？

答：字體文件本質上是從字符到圖像的一個映射，好比字符0，瀏覽器會從字體文件中找到0這個字符對應的圖像，而後展現出來

若是字符0展現並非0的圖像是1的圖像，這就意味着爬蟲拿到的是字符0，可是人看到的倒是圖像1，一切從字符到圖像的映射，均可以用來反爬