Spark做業執行原理

Spark的做業和任務調度系統是其核心，它可以有效地進行調度根本緣由是對任務劃分DAG和容錯，使得它對底層到頂層的各個模塊之間的調用和處理顯得遊刃有餘。相關術語介紹：spa 做業（Job）：RDD中由行動操做所生成的一個或多個調度階段。 調度階段（Stage）：每一個做業會由於RDD之間的依賴關係拆分紅多組任務集合，稱爲調度階段，也叫作任務集（TaskSet）。調度階段的劃分是由DAGSchedu

>>阅读原文<<