淺談spark中如何劃分stage

窄依賴指父RDD的每一個分區最多被一個子RDD的分區所用，表現爲 一個父RDD的分區對應於一個子RDD的分區 兩個父RDD的分區對應於一個子RDD 的分區。 寬依賴指子RDD的每個分區都要依賴於父RDD的所有分區，這是shuffle類操作 Stage: 一個Job會被拆分爲多組Task，每組任務被稱爲一個Stage就像Map Stage， Reduce Stage。Stage的劃分，簡單的說是以s

>>阅读原文<<