據說你的爬蟲被封了?

時間 2019-11-08

原文原文鏈接

若是你在爬蟲過程當中有遇到「您的請求太過頻繁，請稍後再試」，或者說代碼徹底正確，但是爬蟲過程當中忽然就訪問不了，那麼恭喜你，你的爬蟲被對方識破了，輕則給予友好提示警告，嚴重的可能會對你的ip進行封禁，因此代理ip那就尤其重要了。今天咱們就來談一下代理IP，去解決爬蟲被封的問題。php

網上有許多代理ip，免費的、付費的。大多數公司爬蟲會買這些專業版，對於普通人來講，免費的基本知足咱們須要了，不過免費有一個弊端，時效性不強，不穩定，因此咱們就須要對採集的ip進行一個簡單的驗證。html

1.目標採集

本文主要針對西刺代理，這個網站很早以前用過，不過那個時候它還提供免費的api，如今api暫不提供了，咱們就寫個簡單的爬蟲去採集。數據庫

打開西刺代理，有幾個頁面，果斷選擇高匿代理。 json

Chrome瀏覽器右鍵檢查查看network，不難發現，每一個ip地址都在td標籤中，對於咱們來講就簡單許多了，初步的想法就是獲取全部的ip，而後校驗可用性，不可用就剔除。 api

定義匹配規則

import re

ip_compile = re.compile(r'<td>(\d+\.\d+\.\d+\.\d+)</td>')  # 匹配IP
port_compile = re.compile(r'<td>(\d+)</td>')  # 匹配端口
複製代碼

2.校驗這裏我使用淘寶ip地址庫檢驗可用性

2.一、關於淘寶IP地址庫瀏覽器

目前提供的服務包括： 1. 根據用戶提供的IP地址，快速查詢出該IP地址所在的地理信息和地理相關的信息，包括國家、省、市和運營商。 2. 用戶能夠根據本身所在的位置和使用的IP地址更新咱們的服務內容。咱們的優點： 1. 提供國家、省、市、縣、運營商全方位信息，信息維度廣，格式規範。 2. 提供完善的統計分析報表，省準確度超過99.8%，市準確度超過96.8%，數據質量有保障。bash

2.二、接口說明app

請求接口（GET）： ip.taobao.com/service/get… 例：http://ip.taobao.com/service/getIpInfo2.php?ip=111.177.181.44
響應信息：（json格式的）國家、省（自治區或直轄市）、市（縣）、運營商
返回數據格式：

{"code":0,"data":{"ip":"210.75.225.254","country":"\u4e2d\u56fd","area":"\u534e\u5317",
"region":"\u5317\u4eac\u5e02","city":"\u5317\u4eac\u5e02","county":"","isp":"\u7535\u4fe1",
"country_id":"86","area_id":"100000","region_id":"110000","city_id":"110000",
"county_id":"-1","isp_id":"100017"}}
複製代碼

其中code的值的含義爲，0：成功，1：失敗。dom

注意：爲了保障服務正常運行，每一個用戶的訪問頻率需小於10qps。咱們先經過瀏覽器測試一下測試

輸入地址http://ip.taobao.com/service/getIpInfo2.php?ip=111.177.181.44
再次輸入一個地址http://ip.taobao.com/service/getIpInfo2.php?ip=112.85.168.98
代碼操做

import requests

check_api = "http://ip.taobao.com/service/getIpInfo2.php?ip="
api = check_api + ip
try:
    response = requests.get(url=api, headers=api_headers, timeout=2)
    print("ip：%s 可用" % ip)
except Exception as e:
    print("此ip %s 已失效：%s" % (ip, e))
複製代碼

3.代碼

代碼中加入了異常處理，其實本身手寫的demo寫不寫異常處理均可以，可是爲了方便其餘人調試，建議在可能出現異常的地方加入異常處理。

import requests
import re
import random

from bs4 import BeautifulSoup

ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
    "Mozilla / 5.0(Windows NT 6.1;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 45.0.2454.101Safari / 537.36"
    ]


def ip_parse_xici(page):
    """ :param page: 採集的頁數 :return: """
    ip_list = []
    for pg in range(1, int(page)):
        url = 'http://www.xicidaili.com/nn/' + str(pg)
        user_agent = random.choice(ua_list)
        my_headers = {
            'Accept': 'text/html, application/xhtml+xml, application/xml;',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Referer': 'http: // www.xicidaili.com/nn',
            'User-Agent': user_agent
        }
        try:
            r = requests.get(url, headers=my_headers)
            soup = BeautifulSoup(r.text, 'html.parser')
        except requests.exceptions.ConnectionError:
            print('ConnectionError')
        else:
            data = soup.find_all('td')
            # 定義IP和端口Pattern規則
            ip_compile = re.compile(r'<td>(\d+\.\d+\.\d+\.\d+)</td>')  # 匹配IP
            port_compile = re.compile(r'<td>(\d+)</td>')  # 匹配端口
            ips = re.findall(ip_compile, str(data))  # 獲取全部IP

            ports = re.findall(port_compile, str(data))  # 獲取全部端口
            check_api = "http://ip.taobao.com/service/getIpInfo2.php?ip="

            for i in range(len(ips)):
                if i < len(ips):
                    ip = ips[i]
                    api = check_api + ip
                    api_headers = {
                        'User-Agent': user_agent
                    }
                    try:
                        response = requests.get(url=api, headers=api_headers, timeout=2)
                        print("ip：%s 可用" % ip)
                    except Exception as e:
                        print("此ip %s 已失效：%s" % (ip, e))
                        del ips[i]
                        del ports[i]
            ips_usable = ips
            ip_list += [':'.join(n) for n in zip(ips_usable, ports)]  # 列表生成式
            print('第{}頁ip採集完成'.format(pg))
    print(ip_list)


if __name__ == '__main__':
    xici_pg = input("請輸入須要採集的頁數：")
    ip_parse_xici(page=xici_pg)
複製代碼

運行代碼：

4.爲你的爬蟲加入代理ip

建議你們能夠把採集的ip存入數據庫，這樣每次爬蟲的時候直接調用便可，順便提一下代碼中怎麼加入代理ip。

import requests

url = 'www.baidu.com'
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
}
proxies = {
    "http": "http://111.177.181.44:9999",
    # "https": "https://111.177.181.44:9999",
}

res = requests.get(url=url, headers=headers, proxies=proxies)
複製代碼

好了，媽媽不再擔憂我爬蟲被封了