Spark 工作流程

1. Spark job提交過程 Driver的任務提交過程   1、Driver程序的代碼運行到action操作,觸發了SparkContext的runJob方法。  2、SparkContext調用DAGScheduler的runJob函數。  3、DAGScheduler把Job劃分stage,然後把stage轉化爲相應的Tasks,把Tasks交給TaskScheduler。  4、通過T
相關文章
相關標籤/搜索