《Spark技術內幕》第四章Scheduler 模塊詳解

Scheduler 模塊詳解 4.1 模塊概述 4.1.1 整體架構 任務調度模塊主要包含兩大部分： 1.DAGScheduler 2.TaskScheduler 他們負責將用戶提交的計算任務按照DAG劃分爲不同的階段並且將不同階段的計算任務提交到集羣進行最終的計算。 整個過程用流程圖表示（從上向下傳遞）： RDD Objects build operator DAG，將DAG傳給DAGSched

>>阅读原文<<