Spark資源調度和任務調度

整體流程圖如下： Spark資源調度和任務調度的流程： 啓動集羣后，Worker節點會向Master節點彙報資源情況，Master掌握了集羣資源情況。當Spark提交一個Application後，根據RDD之間的依賴關係將Application形成一個DAG有向無環圖。任務提交後，Spark會在Driver端創建兩個對象：DAGScheduler和TaskScheduler，DAGSchedule

>>阅读原文<<