python爬蟲設置代理ip池——方法（一）

"""html 在使用python爬蟲的時候，常常會碰見所要爬取的網站採起了反爬取技術，高強度、高效率地爬取網頁信息經常會給網站服務器帶來巨大壓力，因此同一個IP反覆爬取同一個網頁，就極可能被封，那如何解決呢？使用代理ip，設置代理ip池。python 如下介紹的免費獲取代理ip池的方法：web 優勢：服務器 1.免費app 缺點：dom 1.代理ip穩定性差須要常常更換函數 2.爬取後ip存在不

>>阅读原文<<