Spark----Spark 的運行流程

Spark 的運行流程  1、Spark 的基本運行流程  1、構建 DAG 使用算子操作 RDD 進行各種 transformation 操作,最後通過 action 操作觸發 Spark 作業運行。 提交之後 Spark 會根據轉換過程所產生的 RDD 之間的依賴關係構建有向無環圖。      2、DAG 切割 DAG 切割主要根據 RDD 的依賴是否爲寬依賴來決定切割節點,當遇到寬依賴就將任
相關文章
相關標籤/搜索