QQ空間爬蟲最新分享，一天 400 萬條數據（附代碼地址）

前言 本文爲作者對其開源項目QQSpider的說明文檔。主要替換了程序裏一些不可用的鏈接，對登錄時的驗證碼作了處理，對去重隊列作了優化。並且可以非常簡單地實現爬蟲分佈式擴展。 Github項目名稱：QQSpider 使用說明 1、啓動前配置： 需要安裝的軟件：python、Redis、MongoDB（Redis和MongoDB都是NoSQL，服務啓動後能連接上就行，不需要建表什麼的）。 需要安裝的

>>阅读原文<<