網站反爬蟲策略

    反爬蟲策略，表面上看似乎跟WEB系統優化沒有關係，經過分析，發現該策略是可以歸到WEB性能優化的系列之中。     通過分析apache日誌發現，某系統40%的帶寬和服務器資源都消耗在爬蟲上，如果除去10%-15%搜索引擎的爬蟲，做好反爬蟲策略，能節省20%-25%的資源，其實是變向優化了web系統。 一、爬蟲請求與正常用戶請求的區別     爬蟲請求是類似httpClient的機制或cu

>>阅读原文<<