RDD的依賴關係

文章目錄 Lineage（血統） 窄依賴 寬依賴 DAG（有向無環圖） Lineage（血統） 在spark中，數據的處理和計算都是通過RDD的轉換進行的。由於RDD是不可變的，在轉換的過程中就會生成新的RDD。而這些RDD的順序就形成了類似血緣的關係，新的RDD會依賴於舊的RDD。spark會將這一血緣關係記錄下來，這樣就能提高容錯性能，當集羣中有節點宕機後造成RDD部分數據丟失，就可以根據這個

>>阅读原文<<