Spark - 寬依賴 & 窄依賴

寬依賴:指一個父RDD的Partition會被多個子RDD的Partition所使用,例如,groudByKey,ReduceByKey,sortByKey等操作都會產生寬依賴。 窄依賴:指每個父RDD的一個Partition最多被子RDD的一個Partition所使用,例如,Map,filter,union等操作都會產生窄依賴。 需要注意的是,如果兩個RDD在進行join操作時,一個RDD的pa
相關文章
相關標籤/搜索