【Spark】Spark任務調度相關知識

文章目錄 準備知識 DAG 概述 shuffle 概述 SortShuffleManager 普通機制 bypass機制 Spark任務調度 流程 準備知識 要弄清楚Spark的任務調度流程，就必須要清楚RDD、Lineage、DAG和shuffle的相關知識，關於RDD和Lineage，我的這兩天文章已經有過相關介紹，感興趣可以去看一看 【Spark】RDD(Resilient Distribu

>>阅读原文<<