爲何會用到爬蟲代理IP,代理怎麼使用,代理失效了怎麼處理",初級的爬蟲工做者常常會受到這樣的困擾.html
爲何會用到代理?api
安全避免同一個代理IP訪問同一個網頁,對於長時間訪問同一個網頁的IP,極大可能性IP會被封掉。方便解決IP代理問題技術含量高,找代理處理方便省事。成本低本身去維護服務器成本太高,不低於長久持續發展。安全
代理IP如何使用?服務器
代理IP有效性方法:在有限時間內正常訪問url便可,若是訪問了,證實代理IP是有效的
app
P代理基本上是這個流程了ui
代理失效瞭如何處理?url
class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.spa
(經過代理方法請求,若是給定一個代理,它必須是一個字典映射,key爲協議,value爲URLs或者代理ip。)3d
urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.代理
(build_opener方法返回一個連接着給定順序的handler的OpenerDirector實例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.
(install_opener方法安裝OpenerDirector實例做爲默認的全局opener。)
簡單整理下:一、將代理IP及其協議載入ProxyHandler賦給一個opener_support變量;二、將opener_support載入build_opener方法,建立opener;三、安裝opener。