學習筆記 | python網絡爬蟲 反爬蟲簡介

01 反爬蟲簡介 網絡爬蟲的目的和手段 1. 通過User-Agent校驗反爬 瀏覽器在發送請求的時候，會附帶一部分瀏覽器及當前系統環境的參數給服務器，服務器會通過User-Agent的值來區分不同的瀏覽器。 2. 通過訪問頻率反爬 3. 通過驗證碼校驗反爬 有部分網站不論訪問頻率如何，一定要來訪者輸入驗證碼才能繼續操作。 例如，12306網站，不管是登陸還是購票，全部需要驗證驗證碼，與訪問頻率無

>>阅读原文<<