Spark計算模型RDD(3)——RDD的依賴關係

RDD和它依賴的父RDD的關係有兩種不同的類型,即窄依賴(narrow dependency)和寬依賴(wide dependency)。 窄依賴 窄依賴指的是每一個父RDD的Partition最多被子RDD的一個Partition使用 寬依賴 寬依賴指的是多個子RDD的Partition會依賴同一個父RDD的Partition Lineage(血統) RDD只支持粗粒度轉換,即只記錄單個塊上執行
相關文章
相關標籤/搜索