搜索引擎–Scrapy爬蟲使用Bloom Filter算法進行URL去重

主機環境：Ubuntu 13.04python Python版本：2.7.4git 轉載請標明：http://blog.yanming8.cn/archives/135github 一、安裝less 1 sudo pip install pybloomfiltermmap 或者直接在github獲取最新源代碼，編譯安裝spa 1 sudo python setup.py install 二、使用方

>>阅读原文<<