Spark深刻解析（十三）： RDD依賴關係、DAG生成、劃分Stage

目錄 Lineage 寬窄依賴 如何區分寬窄依賴 爲何要設計寬窄依賴 DAG（有向無環圖） DAG劃分Stage Lineage   RDD只支持粗粒度轉換，即在大量記錄上執行的單個操做。將建立RDD的一系列Lineage（血統）記錄下來，以便恢復丟失的分區。RDD的Lineage會記錄RDD的元數據信息和轉換行爲，當該RDD的部分分區數據丟失時，它能夠根據這些信息來從新運算和恢復丟失的數據分區。

>>阅读原文<<