Python爬蟲開發：反爬蟲措施以及爬蟲編寫注意事項

​ 反爬蟲的幾重措施 1.IP限制python 若是是我的編寫的爬蟲，IP多是固定的，那麼發現某個IP請求過於頻繁而且短期內訪問大量的頁面，有爬蟲的嫌疑，做爲網站的管理或者運維人員，你可能就得想辦法禁止這個IP地址訪問你的網頁了。那麼也就是說這個IP發出的請求在短期內不能再訪問你的網頁了，也就暫時擋住了爬蟲。web 2.User-Agent編程 User-Agent是用戶訪問網站時候的瀏覽器的標識

>>阅读原文<<