url去重 --布隆過濾器 bloom filter及pybloom使用

也能夠看看這篇文章：http://blog.csdn.net/historyasamirror/article/details/6746217 常見URL過濾方法 1 直接查詢比較 即假設要存儲url A，在入庫前首先查詢url庫中是否存在 A,若是存在，則url A 不入庫，不然存入url庫。這種方法準確性高，可是一旦數據量變大，佔用的存儲空間也變大，同時，因爲要查庫，數據一多，查詢時間變長，存

>>阅读原文<<