Spark邏輯圖的執行

1、先表結論，如下圖所示 2.文字說明 driver 有多少個 action()，就會生成多少個job。從後往前看，RDD有多少個partition（可以在程序中指定）就會有多少個task，但是一個開始有多少個task，則是由原始數據決定的。 如果 stage 是 ShuffleMapStage，那麼 new 出來與該 stage 最後一個 RDD 的 partition 數相同的ShuffleM

>>阅读原文<<