菜鳥的Spark 源碼學習之路 -8 RDD-依賴關係

RDD之間的依賴關係，是spark stage劃分的重要依據。總所周知，RDD和它依賴的父RDD（s）的關係有兩種不同的類型，即窄依賴（narrow dependency），寬依賴（wide dependency）。 stage的劃分就在寬依賴和窄依賴的邊界處，一旦RDD間存在寬依賴，則會有shuffle產生。 本文我們就來看一下spark如何抽象RDD之間的依賴關係。 1. 窄依賴 Narrow

>>阅读原文<<