一個簡單的ip池的搭建

在爬蟲的時候老是會遇到跑的太頻繁而致使ip被封號的問題，因此就想着作一個簡單的ip池去規避這種反爬取的手段，固然我寫的ip池功能稍微簡單一點，可是也能知足在爬取時遇到的封禁ip的問題。整個流程就是先用get_ip()函數從網上爬取免費的代理ip地址，固然對於這些代理的ip的能使用率是比較低的，咱們用redis數據庫的zset對其進行存儲，zset有序集合比通常的集合多了一個分數的字段，咱們能夠在存

>>阅读原文<<