海量數據處理

文章目錄 一、計算容量 二、拆分 三、解決思路之分而治之/Hash映射 + Hash統計 + 堆/快速/歸併排序 1、海量日誌數據，提取出某日訪問百度次數最多的那個IP 2、有一個1G大小的一個文件，裏面每一行是一個詞，詞的大小不超過16字節，內存限制大小是1M。返回頻數最高的100個詞。 3、給定a、b兩個文件，各存放50億個url，每個url各佔64字節，內存限制是4G，讓你找出a、b文件共同

>>阅读原文<<