Python反爬蟲機制

添加請求頭User-Agent: 如果不添加請求頭，網站會認爲不是用瀏覽器操作，會進行反爬蟲，添加請求頭，網站會識別你是用哪個瀏覽器，不同的瀏覽器User-Agent不同 修改訪問頻率： 大多數情況下，我們遇到的是訪問頻率限制。如果你訪問太快了，網站就會認爲你不是一個人。這種情況下需要設定好頻率的閾值，否則有可能誤傷。 遇到這種網頁，最直接的辦法是限制訪問時間 需要你限制不定的時間，不能用一個準確

>>阅读原文<<