海量數據處理

一、計算容量 1個整數佔4byte，1億個整數佔4*10^8byte 大概爲 400 MB； 二、拆分 可以將海量數據拆分到多臺機器上和拆分到多個文件上： 如果數據量很大，無法放在一臺機器上，就將數據拆分到多臺機器上。這種方式可以讓多臺機器一起合作，從而使得問題的求解更加快速。但是也會導致系統更加複雜，而且需要考慮系統故障等問題； 如果在程序運行時無法直接加載一個大文件到內存中，就將大文件拆分成小

>>阅读原文<<