spark筆記之RDD的依賴關係

6.1RDD的依賴

RDD和它依賴的父RDD的關係有兩種不一樣的類型，即窄依賴（narrow dependency）和寬依賴（wide dependency）。

6.2窄依賴

窄依賴指的是每個父RDD的Partition最多被子RDD的一個Partition使用

總結：窄依賴咱們形象的比喻爲獨生子女

6.3寬依賴

寬依賴指的是多個子RDD的Partition會依賴同一個父RDD的Partition

總結：寬依賴咱們形象的比喻爲超生

6.4Lineage（血統）

RDD只支持粗粒度轉換，即只記錄單個塊上執行的單個操做。將建立RDD的一系列Lineage（即血統）記錄下來，以便恢復丟失的分區。RDD的Lineage會記錄RDD的元數據信息和轉換行爲，當該RDD的部分分區數據丟失時，它能夠根據這些信息來從新運算和恢復丟失的數據分區。