如何設計大量數據的查重和去重

至少在現階段內存和CPU的執行效率在固定時間內是有限的，大量的數據的查重和去重處理不可能同時在內存中進行。就像外部排序算法和內部排序算法差異很大，遇到此類大量數據查重問題對算法進行設計是有必要的。算法 ConcurrentHashMap 數據量不大的時候能夠採用concurrentHashMap來操做，在內存中對數據進行同步的CRUD操做。數組 這種作法的好處是很明顯的，邏輯處理很簡單易懂。可是會

>>阅读原文<<