Spark深入解讀(二)---- 工作流程

Spark工作流程 1.使用Spark-submit提交代碼至服務器上 2.創建SparkContext,在SparkContext初始化的時候會創建DAGScheduler和TaskScheduler 3.TaskScheduler會啓動一個後臺進程去集羣Master註冊Application,申請任務資源,比如CPU,內存等等 4.Master接收註冊請求後會利用自己的資源調度算法,在Spar
相關文章
相關標籤/搜索