海量數據處理

海量數據處理：是針對數據量較大，導致內存不足或十分佔內存的情況而有的解決算法 1 給一個超過100G大小的log file, log中存着IP地址, 設計算法找到出現次數最多的IP地址？ 【問題分析】 （1）日誌文件一般爲一行一條日誌，並且有一定的格式，每一條日誌中含一個IP地址， 我們可以看一下這個筆記的日誌信息，簡單有一個認識： （2）日誌文件共100G，佔用內存過大，可以嘗試對100G的文件

>>阅读原文<<