BigData————Spark

spark是一個快速的通用的集羣計算平臺。 特點： 快速：比hadoop快出100倍，hadoop框架mapreduce計算需要落地。map任務結束後將結果輸出到磁盤或者hdfs，reduce從hdfs讀取數據，計算結果又放到 hdfs上，涉及到i/o。同時shuffle機制也需要i/o，伴隨數據遷移。耗費時間。 spark相對而言，將mapreduce的計算過程需要的數據儘量的放到內存，當達到一

>>阅读原文<<