python3 selenium模塊Chrome設置代理ip的實現

python3 selenium模塊Chrome設置代理ip的實現

selenium模塊Chrome設置代理ip的實現代碼：

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 設置代理
PROXY = "124.206.133.227:80"
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server={0}'.format(PROXY))
# 必定要注意，=兩邊不能有空格，不能是這樣--proxy-server = 202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本機ip，查看代理是否起做用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除瀏覽器緩存
browser.quit()

注意事項：
1，代理IP最好是穩定的固定IP，不要選動態IP。咱們經常使用的爬蟲IP是高匿名動態IP，是經過撥號動態產生的，時效性很短，通常在1~3分鐘。對於scrapy這種併發度很高，又不須要登陸的爬蟲來講，很是合適，可是在瀏覽器渲染類爬蟲中並不適用。
2，代理IP的速度。由於selenium爬蟲採用的是瀏覽器渲染技術，自己速度就很慢。若是選擇的代理IP速度較慢，就會大大增長爬取的時間。
3，電腦內存要夠大。由於chrome佔內存較大，在併發度很高的狀況下，容易形成瀏覽器崩潰，也就是程序崩潰。
4，在程序結束時，調用 browser.quit( ) 清除瀏覽器緩存。