spark寬依賴與窄依賴

窄依賴:Narrow Dependencyspa 父RDD和子RDD是一對一的依賴關係,如map,filterblog 寬依賴:Shuffle Dependencymap 本質如其名,本質就是shuffle。如reduceByKey,groupyByKeyim 以wordcount爲例,剖析圖以下:d3
相關文章
相關標籤/搜索