淺析海量數據處理問題

生活中我們經常會遇到一些海量數據處理的問題，那麼怎樣的問題就算是海量數據了呢？來看以下這幾個問題： 給定一個大小超過 100G 的文件, 其中存在 IP 地址, 找到其中出現次數最多的 IP 地址 。 給定100億個整數, 找到其中只出現一次的整數(位圖變形, 用兩位來表示次數)。 有兩個文件, 分別有100億個query(查詢詞, 字符串), 只有1G內存, 找到兩個文件的交集。 給上千個文件,

>>阅读原文<<