Spark運行流程

運行流程: 1.開發好代碼之後打成jar包提交到集羣上面去運行。使用的是Spark-submit腳本提交的。首先運行的就是new SparkContext() 2.在SparkContext進行初始化的時候,完成了兩個重要的事情:建立了DAGScheduler、TestScheduler 3.TaskScheduler去向master進行註冊,並進行資源申請。 4.Executor啓動完成之後,去
相關文章
相關標籤/搜索