Spark 源碼分析 -- Stage

理解stage, 關鍵就是理解Narrow Dependency和Wide Dependency, 可能還是覺得比較難理解  關鍵在於是否需要shuffle, 不需要shuffle是可以隨意併發的, 所以stage的邊界就是需要shuffle的地方, 如下圖很清楚 並且Stage分爲兩種, shuffle map stage, in which case its tasks' results ar

>>阅读原文<<