Selenium + Chrome Diver使用帶用戶名密碼認證的HTTP代理的方法

默認狀況下，Chrome的--proxy-server="http://ip:port"參數不支持設置用戶名和密碼認證。這樣就使得"Selenium + Chrome Driver"沒法使用HTTP Basic Authentication的HTTP代理。一種變通的方式就是採用IP地址認證，但在國內網絡環境下，大多數用戶都採用ADSL形式網絡接入，IP是變化的，也沒法採用IP地址綁定認證。所以迫切須要找到一種讓Chrome自動實現HTTP代理用戶名密碼認證的方案。

Stackoverflow上有人分享了一種利用Chrome插件實現自動代理用戶密碼認證的方案很是不錯，詳細地址http://stackoverflow.com/questions/9888323/how-to-override-basic-authentication-in-selenium2-with-java-using-chrome-driver。

鯤之鵬的技術人員在該思路的基礎上用Python實現了自動化的Chrome插件建立過程，即根據指定的代理「username:password@ip:port」自動建立一個Chrome代理插件，而後就能夠在"Selenium + Chrome Driver"中經過安裝該插件實現代理配置功能，具體代碼以下:

# coding: utf-8
# test.py
# 測試"Selenium + Chrome"使用帶用戶名密碼認證的代理

import os
import re
import time
import zipfile
from selenium import webdriver

# Chrome代理模板插件(https://github.com/RobinDev/Selenium-Chrome-HTTP-Private-Proxy)目錄
CHROME_PROXY_HELPER_DIR = 'Chrome-proxy-helper'
# 存儲自定義Chrome代理擴展文件的目錄
CUSTOM_CHROME_PROXY_EXTENSIONS_DIR = 'chrome-proxy-extensions'

def get_chrome_proxy_extension(proxy):
    """獲取一個Chrome代理擴展,裏面配置有指定的代理(帶用戶名密碼認證)
    proxy - 指定的代理,格式: username:password@ip:port
    """
    m = re.compile('([^:]+):([^\@]+)\@([\d\.]+):(\d+)').search(proxy)
    if m:
        # 提取代理的各項參數
        username = m.groups()[0]
        password = m.groups()[1]
        ip = m.groups()[2]
        port = m.groups()[3]
        # 建立一個定製Chrome代理擴展(zip文件)
        if not os.path.exists(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR):
            os.mkdir(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR)
        extension_file_path = os.path.join(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR, '{}.zip'.format(proxy.replace(':', '_')))
        if not os.path.exists(extension_file_path):
            # 擴展文件不存在，建立
            zf = zipfile.ZipFile(extension_file_path, mode='w')
            zf.write(os.path.join(CHROME_PROXY_HELPER_DIR, 'manifest.json'), 'manifest.json')
            # 替換模板中的代理參數
            background_content = open(os.path.join(CHROME_PROXY_HELPER_DIR, 'background.js')).read()
            background_content = background_content.replace('%proxy_host', ip)
            background_content = background_content.replace('%proxy_port', port)
            background_content = background_content.replace('%username', username)
            background_content = background_content.replace('%password', password)
            zf.writestr('background.js', background_content)
            zf.close()
        return extension_file_path
    else:
        raise Exception('Invalid proxy format. Should be username:password@ip:port')


if __name__ == '__main__':
    # 測試
    options = webdriver.ChromeOptions()
    # 添加一個自定義的代理插件（配置特定的代理，含用戶名密碼認證）
    options.add_extension(get_chrome_proxy_extension(proxy='username:password@ip:port'))
    driver = webdriver.Chrome(chrome_options=options)
    # 訪問一個IP回顯網站，查看代理配置是否生效了
    driver.get('http://httpbin.org/ip')
    print driver.page_source
    time.sleep(60)
    driver.quit()

測試截圖以下所示：