Spark的stage & job & task 到底是什麼 ,以及劃分原理

這幾個概念很容易混淆，需要寫一遍文章梳理 Spark的stage & job & task 到底是什麼 ,以及劃分原理 Stage 是spark 中一個非常重要的概念 ， 在一個job 中劃分stage 的一個重要依據是否有shuflle 發生 ，也就是是否會發生數據的重組 （重新組織數據）。 在一個stage 內部會有很多的task 被執行，在同一個stage 中 所有的task 結束後才能根據

>>阅读原文<<