spark基礎

spark可類比於hadoop的MapReduce，性能上有更多優化，一個主要的特點就是spark是基於內存運算的，相比於MapReduce的基於磁盤，減少了IO開銷，運算速度快；另一個優化是spark提供基於DAG的運算，防止數據反覆落地；同時spark提供多種計算模式，滿足不同需求 spark 生態系統 下圖展示了spark生態系統的主要模塊： Mesos,hadoop YARN:底層資源調度

>>阅读原文<<