Python爬蟲開發：反爬蟲措施以及爬蟲編寫注意事項

​ 反爬蟲的幾重措施 1.IP限制 如果是個人編寫的爬蟲，IP可能是固定的，那麼發現某個IP請求過於頻繁並且短時間內訪問大量的頁面，有爬蟲的嫌疑，作爲網站的管理或者運維人員，你可能就得想辦法禁止這個IP地址訪問你的網頁了。那麼也就是說這個IP發出的請求在短時間內不能再訪問你的網頁了，也就暫時擋住了爬蟲。 2.User-Agent User-Agent是用戶訪問網站時候的瀏覽器的標識 下面我列出了常

>>阅读原文<<