Spark2.11 任務劃分以及執行流程

1、spark Application中可以由不同的action觸發job，也就是說一個Application裏可以有很多的job，每個job是由一個或者多個stage構成的，後面的stage依賴前面的stage，只有前面依賴的stage計算完成後面的stage纔會計算； 2、stage劃分的就是根據寬依賴如：reduceByKey、groupByKey等前後就需要劃分爲兩個stage； 3、由a

>>阅读原文<<