Spark調度模塊

2019獨角獸企業重金招聘Python工程師標準>>> 之前我們提到：Driver 的sc負責和Executor交互，完成任務的分配和調度，在底層，任務調度模塊主要包含兩大部分： 1）DAGScheduler 2 ) TaskScheduler 它們負責將用戶提交的計算任務按照DAG劃分爲不同的階段並且將不同階段的計算任務提交到集羣進行最終的計算。整個過程可以使用下圖表示 1.RDD Object

>>阅读原文<<