spark 任務運行機制

(圖文結合一起看) 1 spark 任務 從提交任務開始 : spark-submiit --master … 2 會去調用一個腳本 spark-class,然後這個類會調用spark-submit的 main 方法 3 這個main方法啓動之後會通過反射調用我們自己寫的程序的main方法. 4 自己寫的main方法啓動之後 首先會 new sparkconf 這個參數主要設置master 和一些

>>阅读原文<<