spark資源調度和任務調度流程

Spark 資源調度和任務調度的流程： 啓動集羣后，Worker 節點會向 Master 節點彙報資源情況，Master 掌握了集羣資源 情況。當 Spark 提交一個 Application 後，根據 RDD 之間的依賴關係將 Application 形 成 一 個 DAG 有 向 無 環 圖 。 任 務 提 交 後 ， Spark 會 在 Driver 端 創 建 兩 個 對 象 ： DAGS

>>阅读原文<<