python3（requests）使用代理ip

之前記錄的維護一個ip池html 當須要採集大量數據時，或者有的網站對訪問速度特別嚴格的時候，有的網站就採起封ip，這樣就須要使用代理ip。就像馬蜂窩同樣，，自從被曝數據造假以後，就很差爬了，python使用代理ip的小demo爲： 其中，若是你爬的爲https://www.xxxxx這類那麼proxies裏面的https內容有效。若是你爬的是http://biggsai.com這種，那麼prox

>>阅读原文<<