spark源碼學習(二)- DAGSchedular 劃分job,提交stage的過程

背景          瞭解dagSchedular提交job,就須要瞭解什麼是job,什麼是stage,若是咱們寫了一段程序,其中調用了多個spark算子,可是咱們知道,實際在計算的時候,只有在遇到action算子的時候,纔會觸發計算操做,而這個計算操做就是一個job,因此說一次action操做就會觸發提交一個job,好比collect和first操做都會觸發sparkcontext的runjo
相關文章
相關標籤/搜索