spark的執行流程(源碼解說)

1>spark的做業主要是由rdd的action所觸發做業的提交，根據提交做業構建DAG圖。將做業提交給sparkcontxt，在sparkcontext會建立2個重要組件，一個是dagscheduler和taskscheduler組件。最終運行sc.runjob將做業提交給Dagschedulerspa 2>Dagscheduler會根據DAG圖進行stage的劃分排序            

>>阅读原文<<