BigData————Spark

spark是一個快速的通用的集羣計算平臺。編程 特色：服務器 快速：比hadoop快出100倍，hadoop框架mapreduce計算須要落地。map任務結束後將結果輸出到磁盤或者hdfs，reduce從hdfs讀取數據，計算結果又放到 hdfs上，涉及到i/o。同時shuffle機制也須要i/o，伴隨數據遷移。耗費時間。 spark相對而言，將mapreduce的計算過程須要的數據儘可能的放到內

>>阅读原文<<