什麼是SparkDAG

對於DAG這個概念如今不少上面都有所應用分佈式 概念 在spark裏每個操做生成一個RDD，RDD之間連一條邊，最後這些RDD和他們之間的邊組成一個有向無環圖，這個就是DAG。ide 在spark的應用 Spark內核會在須要計算髮生的時刻繪製一張關於計算路徑的有向無環圖，也就是DAG。spa 有了計算的DAG圖，Spark內核下一步的任務就是根據DAG圖將計算劃分紅任務集，也就是Stage，這樣

>>阅读原文<<