python爬蟲設置代理ip

爬大量數據時候,若是一直使用一個ip,會被封禁。 所以要設置ip,在此我整理了一份ip代碼,原理是先獲取西刺代理的ip,而後進行篩選。每次返回一個。 供你們以及我的使用。 代碼以下:python # IP地址取自國內髙匿代理IP網站:http://www.xicidaili.com/nn/ # 僅僅爬取首頁IP地址就足夠通常使用 from bs4 import BeautifulSoup impo
相關文章
相關標籤/搜索