初識反爬蟲

網站反爬蟲的目的和手段 １、通過User-Agent檢驗反爬 瀏覽器在發送請求的時候，會附帶一部分瀏覽器及其當前系統環境的參數給服務器，服務器會通過User-Agent的值來區分不同的瀏覽器。 ２、通過訪問頻度反爬 ➢普通用戶通過瀏覽器訪問網站的速度相對爬蟲而言要慢的多，所以不少網站會利用這一點對訪問頻度設定一個閾值，如果一個IP單位時間內訪問頻度超過了預設的閾值，將會對該IP做出訪問限制。 ➢通

>>阅读原文<<