spark-2.0原理分析-shuffle過程

shuffle概覽 shuffle過程概覽 shuffle數據流概覽 shuffle數據流 shuffle工做流程 在運行job時，spark是一個stage一個stage執行的。先把任務分紅stage，在任務提交階段會把任務造成taskset，在執行任務。 spark的DAGScheduler根據RDD的ShuffleDependency來構建Stages：web 例如：ShuffleRDD/C

>>阅读原文<<