Python爬蟲使用動態代理

在 Python 爬蟲時，在一段時間內請求數量過多，有時因爲防爬機制，可能會出現不能繼續爬取的問題。解決問題的方法能夠是加長請求的間隔，或者從根本上使用動態 IP ，即將大量請求分散到大量的 IP 地址上來請求，從而使防爬機制不會注意。html 一個比較好用的高匿名 IP 的網站：http://www.xicidaili.com/nn/ 廣泛的認識是這樣的： 透明代理，即服務器知道請求方的代理 I

>>阅读原文<<