RDD的依賴關係、窄依賴、寬依賴、RDD的緩存、RDD緩存方式、DAG的生成、RDD容錯機制之Checkpoint

1、RDD的依賴關係 RDD和它依賴的父RDD(s)的關係有兩種不同的類型,即窄依賴(narrow dependency)和寬依賴(wide dependency)。 1.1、窄依賴 窄依賴指的是每一個父RDD的Partition最多被子RDD的一個Partition使用 總結:窄依賴我們形象的比喻爲獨生子女 1.2、寬依賴 寬依賴指的是多個子RDD的Partition會依賴同一個父RDD的Par
相關文章
相關標籤/搜索