Scrapy基於scrapy_redis分佈式爬蟲的布隆去重

1.從網上下載一個別人寫好的布隆去重py文件 百度網盤:https://pan.baidu.com/s/1KbK4WAWxAQnslIomAoQSiw 密碼：gld0 2.如果要想指定項目啓動布隆去重的話 找到環境下的路徑E:\ENVS\JobDataScrapyEnv\Lib\site-packages文件夾,找到scrapy_redis,單獨複製到需要布隆去重的項目中 在把下載好的布隆去重文件

>>阅读原文<<