Spark_調度流程

1> 將我們編寫好的代碼打成jar包,提交到集羣上運行。 2> 執行spark-submit腳本 3> 調用sparkSubmit這個類的main方法,在main方法中通過反射的方式, 創建我們自己spark作業的主類實例對象。 然後調用main方法,開始執行我們自己寫的代碼。 4> 開始初始化sparkContext對象,在初始化sparkContext對象時會創建 兩個重要的對象(DAGSch
相關文章
相關標籤/搜索