spark原理介紹

一、spark是一個基於內存計算的開源的集羣計算系統，目的是讓數據分析更加快速。所以運行spark的機器應該儘可能的大內存，如96G以上。 二、spark全部操做均基於RDD，操做主要分紅2大類：transformation與action。 三、spark提供了交互處理接口，相似於shell的使用。 四、spark能夠優化迭代工做負載，由於中間數據均保存於內存中。 五、spark 是在 Scala

>>阅读原文<<