Python之分佈式爬蟲

什麼是分佈式爬蟲? 通俗來說,分佈式爬蟲就是多臺機器多個spider對多個url的同時處理操做,分佈式的方式能夠極大提升程序的抓取效率git   分佈式爬蟲通常要配合redis數據庫使用,緣由有3點: (1)redis數據庫能夠共享隊列github (2)重寫Scheduler,讓其不管是去重仍是任務都去訪問共享隊列redis (3)爲Scheduler定製去重規則數據庫 redis數據庫的安裝和

>>阅读原文<<