1.spark基本工作原理

1.分佈式計算 客服端的一條執行命令，分佈式的散落到集羣節點上，每個節點都獨立同時執行被分配的任務 2.主要基於內存計算，少數基於磁盤 3.迭代式計算 一個節點的計算結果可以，傳遞給下一個節點進行繼續計算。Spark與MapReduce最大的不同在於，迭代式計算模型： @1、MapReduce，分爲兩個階段，map和reduce，兩個階段完了，就結束了。所以我們在一個job裏能做的處理很有限，只能

>>阅读原文<<