一塊兒學爬蟲——一步一步打造爬蟲代理池

最近在使用爬蟲爬取數據時，常常會返回403代碼，大體意思是該IP訪問過於頻繁，被限制訪問。限制IP訪問網站最經常使用的反爬手段了，其實破解也很容易，就是在爬取網站是使用代理便可，這個IP被限制了，就使用其餘的IP。對於高大上的公司來講，他們基本都使用收費的代理，基本不會有什麼問題，比較穩定。像我這樣的矮矬窮，確定是用不起收費的代理。通常都是使用國內免費的代理，網上也有不少提供免費的代理。css

不少人都是從網上爬取一批免費的代理IP，存放在存儲媒介中，例如excel文件或者數據庫。定時維護代理，保證代理可用。這個作法有個缺點，有些機器上並無裝有excel或者mysql、redis等數據庫，這就致使了的代理池沒法正常使用。html

我以前是作java開發的，常常會把一些經常使用的數據放在ArrayList中，使用起來很是方便，效率高，所以借鑑以前在java方面的經驗，將代理IP爬取下來存放在list列表中中，將list列表當作一個代理池，常常維護這個池裏的代理。java

我常常爬取免費代理的網站xicidaili swei360等，這些免費的代理足夠我使用了，可以應付大多數的爬蟲工做。爬取過程須要用到requests和pyquery庫，沒有安裝的同窗自行安裝。python

首先介紹下爬取xicidaili網站的過程，要先定義一個方法用於抓取xicidaili網站的，參數有兩個，一個是url，另一個是要爬取代理網頁的頁數，也就是要爬幾頁，方法以下：mysql

def get_xicidaili_proxy(url,page):
    for i in range(1,page):
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
        response = requests.get(url + str(i), headers=headers)

        html = response.text
        doc = pq(html)
        ip_list = doc('#ip_list')('tr:gt(0)').items()
        for item in ip_list:
            ip = item.find('td:nth-child(2)').text()
            port = item.find('td:nth-child(3)').text()
            http_type = item.find('td:nth-child(6)').text()
            proxy_ip = http_type + "://" + ip + ":" + port
            if http_type == 'HTTP':
                http_proxy_pool.append(proxy_ip)
            elif http_type == 'HTTPS':
                https_proxy_pool.append(proxy_ip)
            # print(proxy_ip)

定義了http_proxy_pool和https_proxy_pool兩個list變量，用於存儲http類型和https類型的代理。使用PyQuery根據css僞選擇器提取出ip，端口和http類型信息，並按照http:// + ip+port的方式組合成一個字符串，存儲在已經定義好的http_proxy_tool和https_proxy_pool變量中。redis

爬取swei360網站代理的方法就不貼出來了，原理和爬取xicidaili網站是同樣的。sql

一個代理在使用以前要判斷是否可用，咱們使用request的get請求的返回代碼判斷代理是否可用，返回200，就說明代理可用，返回其餘的代碼就表示代理不可用，代碼以下：數據庫

def detect_proxy(test_url,http_type,proxy):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
    proxy={
        http_type : proxy
    }
    try:
        response = requests.get(test_url,proxies=proxy,headers=headers)
        if response.status_code in [200]:
            print('代理可用',proxy)
            return True
        else:
            print('代理不可用', proxy);
            delete_proxy(http_type,proxy)
            return False
    except(requests.exceptions.ProxyError,RequestException):
        print('代理不可用', proxy)
        delete_proxy(http_type, proxy)
        return False

定義了detect_proxy方法用於檢測代理是否可用，有三個參數，分別是測試網址，代理類型(http和https)和代理IP。當requests的請求返回200代碼時，就表示該代理可用，返回True，不然就是不可用，返回False。當遇到request異常或者其餘的錯誤也認爲代理不可用，返回False。對於不可用的代理，要從代理池中刪除。網絡

從代理池中獲取代理時，咱們使用的是從代理池中隨機返回一個代理，這樣就避免常常使用一個代理，從而遭到拒絕訪問。代碼以下：app

def get_https_proxy():
    proxy_ip = random.choice(https_proxy_pool)
    return proxy_ip

def get_http_proxy():
    proxy_ip = random.choice(http_proxy_pool)
    return proxy_ip

爲了保證代理的可用，當檢測到一個代理不可用時，要及時的清理掉。就是從http_proxy_pool和https_proxy_pool列表中刪除。

一個簡單的爬蟲代理池已經搭建好,總結下爬蟲代理池搭建的過程：

從免費的代理網站上爬取代理信息，存放在列表中。
提供從代理池中隨機獲取代理的方法。http類型的網站要使用http類型的代理，https類型的網站要使用https類型的代理，所以分別提供獲取http和https類型代理的方法。
提供檢測代理是否可用的方法，代理可用返回True，不可用返回False。
提供刪除代理的方法。

這個代理池其實至關的簡單，有一個弊端就是在檢測代理是否可用時，若是返回的不是200代碼就認爲代理不可用，返回其餘代碼的狀況有不少，例如網絡不可用、測試網站不可訪問等。比較好的作法是給每一個代理設置一個分值，例如10分，若是檢測到不可用就減1，當分數爲0時，就肯定該代理不可用，直接從代理池中移除。檢測到代理可用，就將分數設爲10分。這種作法給每一個檢測到不可用代理一個改邪歸正的機會，不至於一刀切的拋棄掉。

完整代碼請加個人公衆號，回覆"代理"獲取。