寬依賴窄依賴+stage劃分

1.RDD的依賴關係 1.1  WordCount中的RDD RDD和它依賴的父RDD(s)的關係有兩種不同的類型,即窄依賴(narrow dependency)和寬依賴(wide dependency)。 1.2  窄依賴 窄依賴指的是每一個父RDD的Partition最多被子RDD的一個Partition使用 總結:窄依賴我們形象的比喻爲獨生子女 1.3  寬依賴 寬依賴指的是多個子RDD的P
相關文章
相關標籤/搜索