Spark2.11 任務劃分以及執行流程

一、spark Application中能夠由不一樣的action觸發job，也就是說一個Application裏能夠有不少的job，每一個job是由一個或者多個stage構成的，後面的stage依賴前面的stage，只有前面依賴的stage計算完成後面的stage纔會計算； 二、stage劃分的就是根據寬依賴如：reduceByKey、groupByKey等先後就須要劃分爲兩個stage； 三、

>>阅读原文<<