spark核心構件之Dependency(依賴)

之前的文章說一個spark任務其實就是一系列rdd構成的有向無環圖（dag），今天我們來看看，spark是如何表示rdd之間的依賴關係建立這個dag的。 一、rdd如何構成dag 上篇文章講到了Partition和Partitioner知道了rdd是由一系列分區（partition）組成的，rdd之間的關係主要的其實就是分區之間的關係，也就是子rdd的某個分區數據需要依賴哪些rdd的哪些分區計算得

>>阅读原文<<