url去重方法和字符串編碼

url去重方法1.將訪問過的url保存到數據庫中 應用簡單，效率低 2.將訪問過的url保存到set中，只需o（1）的代價就可以查詢url 效率高，但是隨着數據的增加，內存會出現佔用過大。 100000000*2byte*50字符/1024/1024/1024=9G 3.url經過md5編碼等方法哈希後保存到set中 固定編碼，壓縮url，節省了內存 4.用bitmap方法，將訪問過的url通過h

>>阅读原文<<