哈希面試題--海量數據

哈希切割top K問題 給一個超過100G大小的log file, log中存着IP地址, 設計算法找到出現次數最多的IP地址? 與上題條件相同,如何找到top K的IP? (1)文件太大,100g,肯定不可能一次加載到內存進行處理,這裏就必須將文件進行切割了,可是依據哪種方法進行切割呢?假設只是從前到後等份切割的話,將文件切割n份(切割的份數依據所給的內存大小),第一份中假設IP地址爲a出現次數
相關文章
相關標籤/搜索