Spark集羣基礎概念 與 spark架構原理

一、Spark集羣基礎概念         將DAG劃分爲多個stage階段，遵循以下原則： 1、將盡可能多的窄依賴關係的RDD劃爲同一個stage階段。 2、當遇到shuffle操作，就意味着上一個stage階段結束，下一個stage階段開始 二、spark架構原理       1、Spark架構原理               Driver 進程                     編寫的

>>阅读原文<<