spark 中stage 和 task的劃分

stage 和 task 的劃分問題。只要在 ShuffleDependency 處斷開，就只剩 NarrowDependency，而 NarrowDependency chain 是可以進行 pipeline 的。 　　所以劃分算法就是：從後往前推算，遇到 ShuffleDependency 就斷開，遇到 NarrowDependency 就將其加入該 stage。每個 stage 裏面 tas

>>阅读原文<<