python爬蟲ip代理服務器的簡要思路-VeCloud

python爬蟲有的時候會遇到被禁ip的情況，這個時候你可以找一下代理網站，抓取一下ip，來進行動態的輪詢就沒問題了，也可以用別人做好的第三方ip代理平臺，比如說crawlera，crawlera是一個利用代理IP地址池來做分佈式下載的第三方平臺，除了scrapy可以用以外，普通的java、php、python等都可以通過curl的方式來調用 如果不使用第三方的平臺做代理ip，我們就必須得手動抓取

>>阅读原文<<