爬蟲與反爬蟲

爬蟲和反爬的對抗一直在進行着… 爲了幫助更好的進行爬蟲行爲以及反爬， 今天就來介紹一下網頁開發者常用的反爬手段。 1. BAN IP ：網頁的運維人員通過分析日誌發現最近某一個IP訪問量特別特別大，某一段時間內訪問了無數次的網頁，則運維人員判斷此種訪問行爲並非正常人的行爲，於是直接在服務器上封殺了此人IP。 解決方法：此種方法極其容易誤傷其他正常用戶，因爲某一片區域的其他用戶可能有着相同的IP，導

>>阅读原文<<