spark資源調度和任務調度

Spark資源調度和任務調度的流程： 啓動集羣后，Worker節點會向Master節點彙報資源情況，Master掌握了集羣資源情況。當Spark提交一個Application後，根據RDD之間的依賴關係將Application形成一個DAG有向無環圖。任務提交後，Spark會在Driver端創建兩個對象：DAGScheduler和TaskScheduler，DAGScheduler是任務調度的高層

>>阅读原文<<