Spark中的核心概念和任務調度

DAG緩存 在spark裏每個操做生成一個RDD，RDD之間連一條邊，最後這些RDD和他們之間的邊組成一個有向無環圖，這個就是DAG。數據結構 Spark內核會在須要計算髮生的時刻繪製一張關於計算路徑的有向無環圖，也就是DAG。有了計算的DAG圖，Spark內核下一步的任務就是根據DAG圖將計算劃分紅任務集，也就是Stage，這樣能夠將任務提交到計算（節點進行真正的計算）。Spark計算的中間結果

>>阅读原文<<