Spark源碼走讀(一) —— Spark應用提交流程

Spark應用是使用spark-submit腳本提交,腳本內容如下,可知該腳本把SparkSubmit類作爲參數傳給spark-class腳本 略去spark-class腳本上面的加載配置等步驟,發現這裏使用launcher.Main啓動SparkSubmit的執行從而啓動應用。 SparkSubmit中的main函數,主要是解析參數,根據參數執行不同行爲。 submit函數主要分兩步: 1、爲提
相關文章
相關標籤/搜索