大數據處理問題及解決方法

大數據,就是指種類多、流量大、容量大、價值高、處理和分析速度快的真實數據匯聚的產物。 通常會需要考慮存儲空間是、效率等問題。解決大數據問題一般主要的思想： 1.文件切分，(將大文件切成若干個小文件進行處理)， 2.哈希切分， 3.使用位圖。 以下通過幾個實例來進行進一步分析： 1、海量日誌數據，提取出某日訪問百度次數最多的那個IP。(或者：給一個超過100G的文件，文件中存放着iP地址，請找出其中

>>阅读原文<<