Spark計算過程分析

基本概念 Spark是一個分佈式的內存計算框架，其特點是能處理大規模數據，計算速度快。Spark延續了Hadoop的MapReduce計算模型，相比之下Spark的計算過程保持在內存中，減少了硬盤讀寫，能夠將多個操作進行合併後計算，因此提升了計算速度。同時Spark也提供了更豐富的計算API。 MapReduce是Hadoop和Spark的計算模型，其特點是Map和Reduce過程高度可並行化；過

>>阅读原文<<