Python爬蟲經常使用小技巧之設置代理IP

 

設置代理IP的緣由

咱們在使用Python爬蟲爬取一個網站時，一般會頻繁訪問該網站。假如一個網站它會檢測某一段時間某個IP的訪問次數，若是訪問次數過多，它會禁止你的訪問。因此你能夠設置一些代理服務器來幫助你作工做，每隔一段時間換一個代理，這樣便不會出現由於頻繁訪問而致使禁止訪問的現象。

咱們在學習Python爬蟲的時候，也常常會碰見所要爬取的網站採起了反爬取技術致使爬取失敗。高強度、高效率地爬取網頁信息經常會給網站服務器帶來巨大壓力，因此同一個IP反覆爬取同一個網頁，就極可能被封，因此下面這篇文章講述一個爬蟲技巧，設置代理IP

代理的獲取有不少方式，網上有不少免費的能夠去爬取一些試試，可是免費的代理使用起來也是 很吃力的。還有就是如今網上有不少的代理供應商，能夠在網上尋找下，而後找家靠譜的使用。畢竟網絡太大了，代理供應商確定也是良莠不齊的，因此找到合適的代理仍是須要花點時間的。在這裏我就是使用了咱們長期使用的一家質量好的代理，億牛雲代理，並且是使用的他們的爬蟲代理（動態轉發）和通常的api模式不同。這種更簡單更方便，對於懶人來講絕對是最佳選擇。

具體代碼的使用

 #! -*- encoding:utf-8 -*-

 

        import requests

        import random

 

        # 要訪問的目標頁面

        targetUrl = "http://httpbin.org/ip"

 

        # 要訪問的目標HTTPS頁面

        # targetUrl = "https://httpbin.org/ip"

 

        # 代理服務器

        proxyHost = "t.16yun.cn"

        proxyPort = "31111"

 

        # 代理隧道驗證信息

        proxyUser = "username"

        proxyPass = "password"

 

        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

            "host" : proxyHost,

            "port" : proxyPort,

            "user" : proxyUser,

            "pass" : proxyPass,

        }

 

        # 設置 http和https訪問都是用HTTP代理

        proxies = {

            "http"  : proxyMeta,

            "https" : proxyMeta,

        }

 

 

        #  設置IP切換頭

        tunnel = random.randint(1,10000)

        headers = {"Proxy-Tunnel": str(tunnel)}

        resp = requests.get(targetUrl, proxies=proxies, headers=headers)

 

        print resp.status_code

        print resp.text

總結

以上就是這篇文章的所有內容了，但願本文的內容對你們的學習或者工做具備必定的參考學習價值，若是有疑問你們能夠留言交流