哈希切割

哈希切割: 給一個超過100G大小的log file, log中存着IP地址, 設計算法找到出現次數最多的IP地址? 與上題條件相同,如何找到top K的IP?如何直接用Linux系統命令實現? 答: 哈希切割就是將一個大文件,利用哈希的原理,將其分爲若干個小文件。相同的數據都被分到同一個文件裏。例如有一個存放着100億個整數的大文件,將其分爲100個小文件。將每個數都模100,結果相同的數存放到一
相關文章
相關標籤/搜索