Spark 多個Stage執行是串行執行的麼?

作者:祝威廉 在做內部培訓的時候,我講了這麼一句: 一個Job裏的Stage都是串行的,前一個Stage完成後下一個Stage纔會進行。 顯然上面的話是不嚴謹的。 看如下的代碼:           這裏的話,我們構建了兩個輸入(input1,input2),input2帶有一個reduceByKey,所以會產生一次Shuffle,接着進行Join,會產生第二次Shuffle(值得注意的是,joi
相關文章
相關標籤/搜索