漫畫：什麼是布隆算法？

兩週之前—— 爬蟲的原理就不細說了，無非是通過種子URL來順藤摸瓜，爬取出網站關聯的所有的子網頁，存入自己的網頁庫當中。 但是，這其中涉及到一個小小的問題...... URL去重方案第一版：HashSet 創建一個HashSet集合，把每一個URL字符串作爲HashSet的key插入到集合當中，利用HashSet的Key唯一性來對URL做去重。 這個方案看似沒毛病，但是經過幾輪壓測之後......

>>阅读原文<<