Scrapy分佈式原理及Scrapy-Redis源碼解析(待完善)

1 Scrapy分佈式原理 2 隊列用什麼維護 首先想到的多是一些特定數據結構, 數據庫, 文件等等.python 這裏推薦使用Redis隊列.git 3 怎樣來去重 保證Request隊列每一個request都是惟一的.github 集合中每一個元素是不重複的web 4 怎樣防止中斷 5 怎樣實現該架構 Scrapy-Redis庫已經完整實現了該架構.redis 源代碼地址: Scrapy-Re

>>阅读原文<<