url去重：布隆過濾器-python實現

布隆過濾器是什麼？php 在爬蟲爬取網頁的時候，咱們會作的一件事情是判斷這個網頁是否以前已經爬取過。這個檢驗步驟在以前的文章裏我是用了一個#集合#來保存已經爬取過的網頁，而在計算機當中，使用hash表來保存。Hash表的好處就是可以快速定位，而它的缺點也衆所皆知，就是存儲空間的浪費。 爲何會浪費存儲空間呢？css 哈希表方法須要把實實在在的具備特定長度的元素的信息指紋存儲在內存或硬盤中的哈希表中（

>>阅读原文<<