Spark資源調度和任務調度

在瞭解資源調度和任務調度以前，須要先了解一下寬窄依賴和Stage兩個概念 1.寬窄依賴web RDD之間是有依賴關係的，分爲寬依賴和窄依賴 寬依賴 父RDD和子RDD之間的對應關係是一對多，即一個RDD中的數據會被放到多個子RDD中 窄依賴 父RDD和子RDD之間的對應關係是一對一或多對一，即一個父RDD中的數據去往一個子RDD或多個父RDD中的數據去一個子RDD 2.Stageapp Spa

>>阅读原文<<