Spark中寬依賴、shuffle、join之間的關係

這是一個有意思的問題。3d 準確來講只有寬依賴===>shuffle，也就是若是發生了寬依賴那麼就必定發生了shuffle過程。其他的都沒有直接聯繫。blog 1.發生寬依賴就必定會伴隨着shuffle。 2.發生shuffle不必定產生寬依賴 好比一個RDD在不斷的作join的過程。這個過程當中每一個RDD都使用了相同的分區器內部是基於cogroup的shuffle操做可是它的整個過程在同一個S

>>阅读原文<<