爬蟲驗證碼處理與IP處理

引入

• 相關的門戶網站在進行登陸的時候，若是用戶連續登陸的次數超過3次或者5次的時候，就會在登陸頁中動態生成驗證碼。經過驗證碼達到分流和反爬的效果。

　　- 1.對攜帶驗證碼的頁面數據進行抓取

　　- 2.能夠將頁面數據中驗證碼進行解析，驗證碼圖片下載到本地

　　- 3.能夠將驗證碼圖片提交給三方平臺進行識別，返回驗證碼圖片上的數據值 　　

　　　　 - 雲打碼平臺： 　

　　　　　　 - 1.在官網中進行註冊（普通用戶和開發者用戶）

　　　　　　 - 2.登陸開發者用戶：

　　　　 - 1.實例代碼的下載（開發文檔-》調用實例及最新的DLL-》PythonHTTP實例下載）

　　　　 - 2.建立一個軟件：個人軟件-》添加新的軟件

　　　　-3.使用示例代碼中的源碼文件中的代碼進行修改，讓其識別驗證碼圖片中的數據值

 

代碼展現：

#該函數就調用了打碼平臺的相關的接口對指定的驗證碼圖片進行識別，返回圖片上的數據值
def getCode(codeImg):
    # 雲打碼平臺普通用戶的用戶名
    username    = 'bobo328410948'

    # 雲打碼平臺普通用戶的密碼
    password    = 'bobo328410948'                            
    
    # 軟件ＩＤ，開發者分紅必要參數。登陸開發者後臺【個人軟件】得到！
    appid       = 6003                                     

    # 軟件密鑰，開發者分紅必要參數。登陸開發者後臺【個人軟件】得到！
    appkey      = '1f4b564483ae5c907a1d34f8e2f2776c'    

    # 驗證碼圖片文件
    filename    = codeImg                        

    # 驗證碼類型，# 例：1004表示4位字母數字，不一樣類型收費不一樣。請準確填寫，不然影響識別率。在此查詢全部類型 http://www.yundama.com/price.html
    codetype    = 3000

    # 超時時間，秒
    timeout     = 20                                    

    # 檢查
    if (username == 'username'):
        print('請設置好相關參數再測試')
    else:
        # 初始化
        yundama = YDMHttp(username, password, appid, appkey)

        # 登錄雲打碼
        uid = yundama.login();
        print('uid: %s' % uid)

        # 查詢餘額
        balance = yundama.balance();
        print('balance: %s' % balance)

        # 開始識別，圖片路徑，驗證碼類型ID，超時時間（秒），識別結果
        cid, result = yundama.decode(filename, codetype, timeout);
        print('cid: %s, result: %s' % (cid, result))
        
        return result

import requests
from lxml import etree
import json
import time
import re
#1.對攜帶驗證碼的頁面數據進行抓取
url = 'https://www.douban.com/accounts/login?source=movie'
headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Mobile Safari/537.36'
}
page_text = requests.get(url=url,headers=headers).text

#2.能夠將頁面數據中驗證碼進行解析，驗證碼圖片下載到本地
tree = etree.HTML(page_text)
codeImg_url = tree.xpath('//*[@id="captcha_image"]/@src')[0]
#獲取了驗證碼圖片對應的二進制數據值
code_img = requests.get(url=codeImg_url,headers=headers).content


#獲取capture_id
'<img id="captcha_image" src="https://www.douban.com/misc/captcha?id=AdC4WXGyiRuVJrP9q15mqIrt:en&amp;size=s" alt="captcha" class="captcha_image">'
c_id = re.findall('<img id="captcha_image".*?id=(.*?)&amp.*?>',page_text,re.S)[0]
with open('./code.png','wb') as fp:
    fp.write(code_img)

#得到了驗證碼圖片上面的數據值
codeText = getCode('./code.png')  
print(codeText)
#進行登陸操做
post = 'https://accounts.douban.com/login'
data = {
    "source": "movie",
    "redir": "https://movie.douban.com/",
    "form_email": "15027900535",
    "form_password": "bobo@15027900535",
    "captcha-solution":codeText,
    "captcha-id":c_id,
    "login": "登陸",
}
print(c_id)
login_text = requests.post(url=post,data=data,headers=headers).text
with open('./login.html','w',encoding='utf-8') as fp:
    fp.write(login_text)

 

IP 代理 :

• 什麼是代理

  • 代理就是第三方代替本體處理相關事務。例如：生活中的代理：代購，中介，微商......

• 爬蟲中爲何須要使用代理

  • 一些網站會有相應的反爬蟲措施，例如不少網站會檢測某一段時間某個IP的訪問次數，若是訪問頻率太快以致於看起來不像正常訪客，它可能就會會禁止這個IP的訪問。因此咱們須要設置一些代理IP，每隔一段時間換一個代理IP，就算IP被禁止，依然能夠換個IP繼續爬取。

• 代理的分類：

  • 正向代理：代理客戶端獲取數據。正向代理是爲了保護客戶端防止被追究責任。

  • 反向代理：代理服務器提供數據。反向代理是爲了保護服務器或負責負載均衡。

• 免費代理ip提供網站

  • http://www.goubanjia.com/

  • 西祠代理

  • 快代理

代碼

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
    #不一樣瀏覽器的UA
    header_list = [
        # 遨遊
        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
        # 火狐
        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
        # 谷歌
        {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
    ]
    #不一樣的代理IP
    proxy_list = [
        {"http": "112.115.57.20:3128"},
        {'http': '121.41.171.223:3128'}
    ]
    #隨機獲取UA和代理IP
    header = random.choice(header_list) proxy = random.choice(proxy_list) url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
    #參數3：設置代理
    response = requests.get(url=url,headers=header,proxies=proxy) response.encoding = 'utf-8'
    
    with open('daili.html', 'wb') as fp:
        fp.write(response.content)
    #切換成原來的IP
    requests.get(url, proxies={"http": ""})