Python3WebSpider_代理設置

ip代理設置 由於同一個ip訪問過於頻繁，所爬網站可能會讓我們輸入驗證碼或直接封鎖IP；因而使用代理隱藏真實的IP，讓服務器以爲是代理服務器在請求自己。這樣在爬取過程中通過不斷更換代理，就不會被封鎖，可以達到很好的爬取效果。 免費代理網站： https://www.xicidaili.com/ 以下代碼運行結果的origin是代理的ip，則證明代理已設置成功 http://httpbin.org/

>>阅读原文<<