spark DAG 筆記

DAG，有向無環圖，Directed Acyclic Graph的縮寫，常用於建模。 Spark中使用DAG對RDD的關係進行建模，描述了RDD的依賴關係，這種關係也被稱之爲lineage，RDD的依賴關係使用Dependency維護，參考Spark RDD之Dependency，DAG在Spark中的對應的實現爲DAGScheduler。 DAGScheduler 作業（Job）調用RDD的一個

>>阅读原文<<