2、Spark基本工作原理與RDD

一、基本工作原理 1、特點 分佈式； 主要是基於內存（少數情況基於磁盤）； spark與，MapReduce最大的不同在於迭代式計算； MR分爲兩個階段，map和reduce，兩個階段完了，job就結束了，所以我們在一個job裏能做的處理很有限，只能是在map和reduce裏處理； spark計算模型，可以分爲n個階段，因爲它是內存迭代式的，我們在處理完一個階段以後，可以繼續往下處理很多個

>>阅读原文<<