Spark中stage的劃分

如下爲Spark中劃分stage的源碼： DAGScheduler將Job分解成具有前後依賴關係的多個stage DAGScheduler是根據ShuffleDependency劃分stage的 stage分爲ShuffleMapStage和ResultStage；一個Job中包含一個ResultStage及多個ShuffleMapStage 一個stage包含多個tasks，task的個數即該s

>>阅读原文<<