spark四 依賴和shuffle

寬依賴和窄依賴 我畫的 官網的 也就是說： 寬依賴：多個子RDD的Partition會依賴同一個父RDD的Partition，此時就是發生了shuffle shuffle標準：發生了寬依賴 依賴的作用： RDD只支持粗粒度轉換，即在大量記錄上執行的單個操作。將創建RDD的一系列Lineage（即血統，依賴）記錄下來，以便恢復丟失的分區。RDD的Lineage會記錄RDD的元數據信息和轉換行爲，當該

>>阅读原文<<