(RDD)Lineage 血緣關係 和 Dependence 依賴關係

1)Lineage 說明     Lineage  保存了RDD的依賴關係     如:有這樣的依賴關係:A =map=> B =filter=>C             假設B的RDD某個分區掛了,就可以通過血緣關係重新計算map的函數獲取回來             即:一個RDD是如何從父RDD計算過來的  2)假如某RDD的分區是通過幾個分區reducebykey算出來的,這時候得幾個一
相關文章
相關標籤/搜索