Spark-2.0原理分析-shuffle過程

shuffle概覽 shuffle過程概覽 shuffle數據流概覽 shuffle數據流 shuffle工作流程 在運行job時，spark是一個stage一個stage執行的。先把任務分成stage，在任務提交階段會把任務形成taskset，在執行任務。  spark的DAGScheduler根據RDD的ShuffleDependency來構建Stages： 例如：ShuffleRDD/CoG

>>阅读原文<<