爬蟲與反爬蟲

基本概念說明 爬蟲：自動獲取網站數據的程序，關鍵是批量獲取。 反爬蟲：使用技術手段防止爬蟲程序的方法。 誤傷：反爬技術將普通用戶識別爲爬蟲，如果誤傷過高，效果再好也不能用。 比如：系統檢測到有一個IP頻繁的訪問一個網站，那麼可以直接禁止該IP訪問。一般網站是不會採取這種方式的，爲什麼呢？一個學校或者一個網吧，它對外的IP只有一個或者幾個，所有學校裏面都是內部的局域網，某個學生寫了一個爬蟲，發送出去

>>阅读原文<<