點擊上方「早起Python」，關注並「星標」
css
每日接收Python乾貨！
python
前言
在咱們寫爬蟲的過程當中，目標網站常見的干擾手段就是設置驗證碼等，本就將基於Selenium實戰講解如何處理彈窗和驗證碼，爬取的目標網站爲某儀器預定平臺web
能夠看到登陸所需的驗證碼構成比較簡單，是彩色的標準數字配合簡單的背景干擾瀏覽器
所以這裏的驗證碼識別不須要藉助人工智能的手段，可直接利用二值法對圖片處理後交給谷歌的識別引擎tesseract-OCR便可得到圖中的數字。微信
注：selenium 和 tesseract 的配置讀者可自行搜索，本文不作介紹)cookie
Python實戰
首先導入所需模塊
app
import re
# 圖片處理
from PIL import Image
# 文字識別
import pytesseract
# 瀏覽器自動化
from selenium import webdriver
import time
解決彈出框問題
先嚐試打開示例網站
框架
url = 'http://lims.gzzoc.com/client'
driver = webdriver.Chrome()
driver.get(url)
time.sleep(30)
有趣的地方出現了，網站顯示了一個咱們前面沒有看到的彈窗，簡單說一下彈窗的知識點，初學者能夠將彈出框簡單分爲alert和非alert編輯器
alert式彈出框svg
alert(message)方法用於顯示帶有一條指定消息和一個 OK 按鈕的警告框confirm(message)方法用於顯示一個帶有指定消息和 OK 及取消按鈕的對話框prompt(text,defaultText)方法用於顯示可提示用戶進行輸入的對話框
看一下這個彈出框的js是怎麼寫的：
看起來彷佛是alert式彈出框，那麼直接用driver.switch_to.alert嗎？先不急
非傳統alert式彈出框的處理
彈出框位於 div層，跟日常定位方法同樣彈出框是嵌套的 iframe層，須要切換iframe彈出框位於嵌套的 handle，須要切換窗口
因此咱們對這個彈出框進行元素審查
因此問題實際上很簡單，直接定位按鈕並點擊便可
url = 'http://lims.gzzoc.com/client'
driver = webdriver.Chrome()
driver.get(url)
time.sleep(1)
driver.maximize_window() # 最大化窗口
driver.find_element_by_xpath("//div[@class='jconfirm-buttons']/button").click()
獲取圖片位置並截圖
二值法處理驗證碼的簡單思路以下：
切割截取驗證碼所在的圖片 轉爲灰度後二值法將有效信息轉爲黑，背景和干擾轉爲白色 處理後的圖片交給文字識別引擎 輸入返回的結果並提交
切割截取驗證碼的圖片進一步思考解決策略：首先獲取網頁上圖片的css屬性，根據size和location算出圖片的座標；而後截屏；最後用這個座標進一步去處理截屏便可(因爲驗證碼js的特殊性，不能簡單獲取img的href後下載圖片後讀取識別，會致使先後不匹配)
img = driver.find_element_by_xpath('//img[@id="valiCode"]')
time.sleep(1)
location = img.location
size = img.size
# left = location['x']
# top = location['y']
# right = left + size['width']
# bottom = top + size['height']
left = 2 * location['x']
top = 2 * location['y']
right = left + 2 * size['width'] - 10
bottom = top + 2 * size['height'] - 10
driver.save_screenshot('valicode.png')
page_snap_obj = Image.open('valicode.png')
image_obj = page_snap_obj.crop((left, top, right, bottom))
image_obj.show()
正常狀況下直接使用註釋的四行代碼便可，但不一樣的電腦不一樣的瀏覽器，縮放倍率存在差別，所以若是截取出的圖存在誤差這須要考慮乘上倍率係數。最後能夠再加減數值進行微調
能夠看到圖片這成功截取出來了！
驗證碼圖片的進一步處理
這個閾值須要具體用Photoshop或者其餘工具嘗試，即找到一個像素閾值可以將灰度圖片中真實數據和背景干擾分開，本例經測試閾值爲205
img = image_obj.convert("L") # 轉灰度圖
pixdata = img.load()
w, h = img.size
threshold = 205
# 遍歷全部像素，大於閾值的爲黑色
for y in range(h):
for x in range(w):
if pixdata[x, y] < threshold:
pixdata[x, y] = 0
else:
pixdata[x, y] = 255
根據像素二值結果從新生成圖片
data = img.getdata()
w, h = img.size
black_point = 0
for x in range(1, w - 1):
for y in range(1, h - 1):
mid_pixel = data[w * y + x]
if mid_pixel < 50:
top_pixel = data[w * (y - 1) + x]
left_pixel = data[w * y + (x - 1)]
down_pixel = data[w * (y + 1) + x]
right_pixel = data[w * y + (x + 1)]
if top_pixel < 10:
black_point += 1
if left_pixel < 10:
black_point += 1
if down_pixel < 10:
black_point += 1
if right_pixel < 10:
black_point += 1
if black_point < 1:
img.putpixel((x, y), 255)
black_point = 0
img.show()
圖像處理先後對好比下
文字識別
將處理後的圖片就給谷歌的文字識別引擎就能完成識別
result = pytesseract.image_to_string(img)
# 可能存在異常符號，用正則提取其中的數字
regex = '\d+'
result = ''.join(re.findall(regex, result))
print(result)
識別結果以下
提交帳號密碼、驗證碼等信息
在處理完驗證碼以後，如今咱們就能夠向網站提交帳號密碼、驗證碼等登錄所需信息
driver.find_element_by_name('code').send_keys(result)
driver.find_element_by_name('userName').send_keys('xxx')
driver.find_element_by_name('password').send_keys('xxx')
# 最後點擊肯定
driver.find_element_by_xpath("//div[@class='form-group login-input'][3]").click()
須要注意的是，二值法識別驗證碼成功率不是100%，所以須要考慮到驗證碼識別錯誤，須要單擊圖片更換驗證碼從新識別，能夠將上述代碼拆解成多個函數後，用以下循環框架試錯
while True:
try:
...
break
except:
driver.find_element_by_id('valiCode').click()
爲了方便理解，代碼的書寫沒有以函數形式呈現，歡迎讀者自行嘗試修改！
小結
成功登陸後就能夠得到我的的cookies，接下來能夠繼續用selenium進行瀏覽器自動化或者把cookies傳給requests，後面就能爬取須要的信息作分析或者實現一些自動化功能，但因爲涉及到的爬蟲知識點比較多，咱們會在後續的爬蟲專題文章中進行分享！
往期精選
（👇
猛戳可查看
）
10行Python代碼竟能實現這些騷操做
Python隨機森林預測實戰
今日干貨已送達
又學到一招
點擊下方
三連
簽收
👇收到收到
10行Python代碼竟能實現這些騷操做
Python隨機森林預測實戰
本文分享自微信公衆號 - 早起Python（zaoqi-python）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。