python 爬蟲 自動獲取代理ip

大家都知道，對付簡單的反爬蟲有這麼幾種方式，隨機請求頭User-Agent，限流器，還有就是，使用不同的ip進行爬取，等等，，， 網上也有比較多的代理IP，本文章用的是西刺代理，當然其他的代理ip也是可以的，看個人喜好吧，既然有了代理，那麼怎麼獲取裏面的ip爲自己所用，這又是要寫一個腳本文件。 當然你也可以從網址上覆制幾個下來，然後隨機一下，但是這不是剛學的爬蟲嗎，總要好好的利用起來。 廢話不多說

>>阅读原文<<