python+正則提取+ip代理爬取糗事百科文字信息

很多網站都有反爬措施，最常見的就是封ip，請求次數過多服務器會拒絕連接，如圖； 在程序中設置一個代理ip，可有效的解決這種問題，代碼如下； # 需要的庫 import requests import re from multiprocessing import Pool # 設置代理ip proxy = { 'https':'111.231.140.109:8888' } # 請求頭 header

>>阅读原文<<