免費代理池的搭建

在作爬蟲的時候，因爲高頻訪問，常常會出現IP被封禁的狀況，由於服務器檢測到某個IP在單位時間內訪問次數超過某個閾值時，會認爲是爬蟲程序在訪問，便直接拒絕服務。所以，通常的處理手段是咱們可使用代理，來假裝IP，讓服務器沒法識別由咱們本機發起的請求。 網絡上有大量免費且公開的代理能夠供咱們使用，但這些單利並不能保證均可以使用，由於一樣的代理可能被其餘人拿來爬蟲使用而遭到封禁，所以，在真正使用以前，咱們

>>阅读原文<<