10GB以上TXT去重方法介紹

文本去重，網上有不少軟件能夠實現，可是實際上沒有一個軟件能夠作到2GB以上徹底去重，其根本緣由在於：數據庫 （1）如今去重大多數採用哈希表，哈希表不重複元素暫存於內存中，因此隨着數據增長，內存不斷增長，一直到內存耗盡，實際上操做系統不會讓咱們這麼一直在內存添加數據，並且是會有限制的微信 （2）32操做系統和64位操做系統去重支持最大數不同，64位支持更多數據去重，可是不能用32位程序在64操做系統

>>阅读原文<<