代理服務

  在爬取網頁的過程當中,常常會出現不久前能夠爬取的網頁如今沒法爬取了,這是由於您的IP被爬取網站的服務器所屏蔽了。此時代理服務能夠爲您解決這一麻煩,設置代理時,首先須要找到代理地址,例如「122.114.31.177」,對應的端口號爲「808」,完整的格式爲「122.114.31.177:808」,以下:服務器

import requests

#設置代理IP與對應的端口號
proxy={'http':'122.114.31.177:808','https':'122.114.31.177:808'}

#
response=requests.get('http://www.mingrisoft.com/',proxies=proxy)
print(response.content)

  因爲實例中代理IP是免費的,因此使用的時間不固定,超出使用的時間範圍該地址將失效網站

相關文章
相關標籤/搜索