spark RDD 之間得依賴關係

RDD中不同的操作會使得不同RDD中的分區會產生不同的依賴。RDD中的依賴關係分爲窄依賴(Narrow Dependency)與寬依賴(Wide Dependency),圖9-10展示了兩種依賴之間的區別。 窄依賴表現爲一個父RDD的分區對應於一個子RDD的分區,或多個父RDD的分區對應於一個子RDD的分區;比如圖9-10(a)中,RDD1是RDD2的父RDD,RDD2是子RDD,RDD1的分區1
相關文章
相關標籤/搜索