爬蟲代理IP池的實現

使用代理髮送請求: requests.get(url,proxies={協議:協議+ip+端口}) 正向代理:客戶端知道最終服務器的地址 反向代理:客戶端不知道最終服務器的地址 怎樣合理的使用代理: 準備一堆的ip地址,組成ip池,隨機選擇一個ip來時用 如何隨機選擇代理ip,讓使用次數較少的ip地址有更大的可能性被用到 {"ip":ip,"times":0} [{},{},{},{},{}],對
相關文章
相關標籤/搜索