Spark運行基本流程-----學習筆記

一、首先構建基本運行環境：Driver建立一個SparkContext，進行資源的申請、任務的分配和控制；（Shell中不須要構建，系統會自動生成一個SC）多線程 二、資源管理器爲Executor分配資源，並啓動Executor進程；優化 三、SparkContext根據RDD的依賴關係構建DAG圖，DAG圖提交給DAGScheduler解析成Stage，而後把一個個TaskSet提交給底層調度器

>>阅读原文<<