Spark RDD五大特徵

1.Rdd由一組分區組成 （partition） 默認是一個block 對應一個分區 2.每個分區都有一個 Task 來處理 ，函數實際上 是作用在每一個分區上的 3.RDD 直接由一系列的依賴關係 寬依賴 與窄 依賴 寬依賴 存在 shuffle 算子分區對應的關係 是一對多 關係 窄依賴 沒有 shuffle 算子 分區對應一對一關係 根據寬窄依賴切分 Stage ， Stage 是一組並行計

>>阅读原文<<