分佈式爬蟲設計

網上也有很多的分佈式爬蟲框架的解決方案，下面我就以自己工作的經驗進行一些總結：   一，爬蟲的技術要點     要向批量抓取某一個大站，你需要自己搭建一套爬蟲框架。要考慮封IP問題，考慮圖片驗證碼識別問題，考慮數據處理問題等。     封IP--常見的解決方案基本上就是告訴你抓免費代理，或者購買代理，我這裏想到的是如果你有條件有多個路由器，完全可以自己實現一套定時撥號程序來防止IP被封。定時撥號的

>>阅读原文<<