【Spark】SparkCore解析(一):寬依賴和窄依賴

何爲依賴? 由於RDD是粗粒度的操作數據集,每個Transformation操作都會生成一個新的RDD,所以RDD之間就會形成類似流水線的前後依賴關係;RDD和它依賴的父RDD(s)的關係有兩種不同的類型,即窄依賴(narrow dependency)和寬依賴(wide dependency)。如圖所示顯示了RDD之間的依賴關係👇 窄依賴:是指每個父RDD的每個Partition都只被子RDD的
相關文章
相關標籤/搜索