Spark作業調度中stage的劃分

Spark在接收到提交的作業後，會進行RDD依賴分析並劃分成多個stage，以stage爲單位生成taskset並提交調度。這裏stage劃分是一個設計的亮點，這兩天學習一下。 Spark作業調度 對RDD的操作分爲transformation和action兩類，真正的作業提交運行發生在action之後，調用action之後會將對原始輸入數據的所有transformation操作封裝成作業並向集羣

>>阅读原文<<