RDD的寬依賴和窄依賴

1、RDD的寬依賴和窄依賴的區別 是否有shuffle操作，也叫洗牌操作 窄依賴： 一對一 或者 多對一 寬依賴： 一對多 窄依賴可以進行流水線優化，寬依賴不可以 優化：fork/join 機制 一個作業可以劃分成多個階段 每個階段都是一次fork/join，多次fork/join就是寬依賴 一個作業也可以直接一個階段完成，這就是窄依賴 寬依賴：有shuffle操作的時候 需要落到磁盤，需要等待，

>>阅读原文<<