Spark運行流程

運行流程: 1.開發好代碼以後打成jar包提交到集羣上面去運行。使用的是Spark-submit腳本提交的。首先運行的就是new SparkContext()2.在SparkContext進行初始化的時候,完成了兩個重要的事情:創建了DAGScheduler、TestScheduler3.TaskScheduler去向master進行註冊,並進行資源申請。4.Executor啓動完成以後,去向Dr
相關文章
相關標籤/搜索