聚焦Python分佈式爬蟲必學框架 Scrapy 打造搜索引擎 -- 第7章 Scrapy突破反爬蟲的限制...

爬蟲基本概念 image.png 關於誤傷： 假如網站管理人員發現某個 IP 訪問過於頻繁，斷定爲爬蟲，能夠將其 IP 禁封，這是最有效的方法。可是這樣作就會帶來誤傷，①好比學校或者網吧，他們對外的 IP 只有一個或者幾個，內部所有屬於局域網，若是學校或者網吧的某一我的寫了一個爬蟲，那麼若是禁用掉這個對外的公網 IP ，內部全部人就都不能訪問這個網站了，損失廣大用戶。②如今 IP 一般都是動態分配

>>阅读原文<<