【Scrapy-03】布隆過濾器、存儲數據庫以及其餘一些圖片爬取的技巧

Python3+Windows的環境，使用布隆過濾器確實不是一個很明智的選擇，由於要麼現成的模塊不支持Windows平臺，要麼就是隻支持Python2，要麼就是對文件操做的支持不理想。通過不懈努力，找到一個叫作bloom_filter的。html ——布隆過濾器的使用，使用效果確實不錯，先本身新建一個文件，而後每次打開，檢查是否存在，不存在就添加，存在的話就不錯什麼處理了。這裏面我作了兩個布隆過濾

>>阅读原文<<