Spark基本架構及原理

Hadoop 和 Spark 的關係 Spark 運算比 Hadoop 的 MapReduce 框架快的原因是因爲 Hadoop 在一次 MapReduce 運算之後,會將數據的運算結果從內存寫入到磁盤中,第二次 Mapredue 運算時在從磁盤中讀取數據,所以其瓶頸在2次運算間的多餘 IO 消耗. Spark 則是將數據一直緩存在內存中,直到計算得到最後的結果,再將結果寫入到磁盤,所以多次運算的

>>阅读原文<<