Spark-RDD寬窄依賴、pipeline計算模式、Stage

一、RDD寬窄依賴 以WordCount爲例： 窄依賴： 父RDD與子RDD partition之間的關係是一對一(父partition的數據只到一個子partition)，比如：rdd1->rdd2->rdd3。 父RDD與子RDD partition之間的關係是多對一。 寬依賴： 父RDD與子RDD partition之間的關係是一對多(父partition的數據只到多個子partition)

>>阅读原文<<