分佈式爬蟲設計

網上也有不少的分佈式爬蟲框架的解決方案，下面我就以本身工做的經驗進行一些總結：python   一，爬蟲的技術要點mongodb     要向批量抓取某一個大站，你須要本身搭建一套爬蟲框架。要考慮封IP問題，考慮圖片驗證碼識別問題，考慮數據處理問題等。框架     封IP--常見的解決方案基本上就是告訴你抓免費代理，或者購買代理，我這裏想到的是若是你有條件有多個路由器，徹底能夠本身實現一套定時撥號

>>阅读原文<<