【Spark四十六】Spark RDD物理執行圖與Stage

理解記憶如下要點: 1. 劃分Stage的方法是從後向前,遇到 shuffle Dependency就斷開,如果是Narrow Dependency就劃入當前的Stage。所以,ShuffledRDD通常是一個Stage的開頭(Stage的開頭未必是 ShuffledRDD,也有可能是數據源轉換而來的RDD)。所以上面一共3個Stage。需要注意的是,shuffle的結果未必成爲 Shuffled
相關文章
相關標籤/搜索