反反爬，搭建IP代理池

1 、 爬蟲代理 \quad 對於爬蟲來說,由於爬蟲爬取速度過快，在爬取的過程中可能會遇到同一個IP訪問太過頻繁，在網站反爬措施下導致直接拒絕訪問，也就是所謂的封IP，因此需要一種藉助某種方式來僞裝我們的IP，讓服務器識別不出是由本機發送的請求。這裏我們使用代理IP的方式來實現IP的僞裝。 2 、 代理的作用 \quad 代理實際上就是代理服務器，英文叫做proxy server,它的功能是代理網

>>阅读原文<<