哈希面試題--海量數據

哈希切割top K問題 給一個超過100G大小的log file, log中存着IP地址, 設計算法找到出現次數最多的IP地址？ 與上題條件相同，如何找到top K的IP？ （1）文件太大，100g，肯定不可能一次加載到內存進行處理，這裏就必須將文件進行切割了，可是依據哪種方法進行切割呢？假設只是從前到後等份切割的話，將文件切割n份(切割的份數依據所給的內存大小)，第一份中假設IP地址爲a出現次數

>>阅读原文<<