對於大數據的一些處理方法

問題：數據太大，在內存中無法一次性裝入。 題1：給定一個大小超過100億的文件，該文件是用來存儲IP地址，找到出現次數最多的IP地址。 分析：100億就是大約就是10G，對於現在的計算機而言，內存中無法容納這麼大的文件。 解決：將一個大文件切分爲多個小文件，例如：我們可以將該100億的大文件切分爲1000個文件，即每個文件的大小大約就是10M，那麼就可以在內存中容納得下了。 那麼，我們要怎麼來切分

>>阅读原文<<