IP代理（proxies參數）

　　在爬蟲的過程中，我們經常會遇見很多網站採取了防爬取技術，或者說因爲自己採集網站信息的強度和採集速度太大，給對方服務器帶去了太多的壓力。 　　如果你一直用同一個代理ip爬取這個網頁，很有可能ip會被禁止訪問網頁，所以基本上做爬蟲的都躲不過去ip的問題。 　　通常情況下，爬蟲用戶自己是沒有能力去自己維護服務器或者是自己搞定代理ip的問題的，一來是因爲技術含量太高，二來是因爲成本太高。 　　當然，也

>>阅读原文<<