spark stage 的理解

先看看依賴關係的解釋: 如下圖,左邊的一系列操作,map,filter,union,join操作都是窄依賴,而這一系列的窄依賴,都是轉換的過程,並不會觸發action,因此,spark會將這些轉換放在同一個階段Stage2中。而寬依賴會觸發action,因此作爲另一個階段Stage3
相關文章
相關標籤/搜索