java 對大數據的處理

最近作了一個項目，數據量每次處理在兩百萬左右，這裏記錄一下最近開發時處理大量數據的思路，主要思路是將大數據化小，屢次處理，不足之處還請指出。服務器 文件讀取：首先是一個文件上傳，數據入庫，10-200萬條不等，這裏主要考慮到一次性讀取，JVM分配出來的棧內存不必定會夠（我的對內存這一塊仍是處於只知其一;不知其二的狀態，因此比較謹慎，若諸位大神有好的認知，但願評論留下地址分享一下），是依行讀取數據，

>>阅读原文<<