spark四 依賴和shuffle

依賴（血緣）的作用 RDD只支持粗粒度轉換，即在大量記錄上執行的單個操作。將創建RDD的一系列Lineage（即血統，依賴）記錄下來，以便恢復丟失的分區。RDD的Lineage會記錄RDD的元數據信息和轉換行爲，當該RDD的部分分區數據丟失時，它可以根據這些信息來重新運算和恢復丟失的數據分區。 spark的寬窄依賴 RDD和依賴的父RDD關係有兩種,就是寬依賴和窄依賴 寬依賴: 多個子RDD的pa

>>阅读原文<<