SparkCore:RDD-DAG的生成和劃分Stage

DAG介紹 DAG(Directed Acyclic Graph有向無環圖)指的是數據轉換執行的過程有方向,無閉環(其實就是RDD執行的流程) 原始的RDD通過一系列的轉換操作就形成了DAG有向無環圖,任務執行時,可以按照DAG的描述,執行真正的計算(數據被操作的一個過程) DAG的邊界 開始:通過SparkContext創建的RDD 結束:觸發Action,一旦觸發Action就形成了一個完整的
相關文章
相關標籤/搜索