spark資源調度和任務調度流程

spark運行架構 spark資源調度和任務調度流程: 1、啓動集羣后，Worker節點會向Master節點彙報資源情況，Master掌握了集羣資源情況。 2、當Spark提交一個Application後，根據RDD之間的依賴關係將Application形成一個DAG有向無環圖。任務提交後，Spark會在Driver端創建兩個對象：DAGScheduler和TaskScheduler。 3、DAG

>>阅读原文<<