Spark作業執行原理

Spark的作業和任務調度系統是Spark的核心，它能夠有效地進行調度根本原因是對任務劃分DAG和容錯，使得它對低層到頂層的各個模塊之間的調用和處理顯得遊刃有餘。下面介紹一些相關術語。 作業（Job）：RDD中由行動操作所生成的一個或多個調度階段。 調度階段（Stage）：每個Job作業會因爲RDD之間的依賴關係拆分成多組任務集合，稱爲調度階段，簡稱階段，也叫做任務集（TaskSet）。調度階段的

>>阅读原文<<