Hadoop與Spark等大數據框架介紹

海量數據的存儲問題很早就已經出現了，一些行業或者部門因爲歷史的積累，數據量也達到了一定的級別。很早以前，當一臺電腦無法存儲這麼龐大的數據時，採用的解決方案是使用NFS(網絡文件系統)將數據分開存儲。但是這種方法無法充分利用多臺計算機同時進行分析數據。 一個實際的需求場景：日誌分析 日誌分析是對日誌中的每一個用戶的流量進行彙總求和。對於一個日誌文件，如果只有這麼幾行數據，我們一般會採用這樣的處理方式

>>阅读原文<<