爬蟲HTTP代理異常處理方式

爲什麼要設置代理 代理分爲用戶代理use-agent和ip代理proxy，兩者的區別在於user-agent更多在於本地用戶服務管理來僞裝自己，相當於人換了件衣服，而proxy代理更傾向於服務器訪問，例如，A要訪問B，但是不能直接訪問B，就要通過proxyC來訪問，相當於借刀殺人的作用。 一般來說，服務器會禁止同一用戶或者同一ip在某個時段高頻率訪問網站，或者爲了防止黑客攻擊手段，都會對用戶進行反

>>阅读原文<<