Spark作業執行原理

Spark的作業和任務調度系統是其核心，它能夠有效地進行調度根本原因是對任務劃分DAG和容錯，使得它對底層到頂層的各個模塊之間的調用和處理顯得遊刃有餘。相關術語介紹： 作業（Job）：RDD中由行動操作所生成的一個或多個調度階段。 調度階段（Stage）：每個作業會因爲RDD之間的依賴關係拆分成多組任務集合，稱爲調度階段，也叫做任務集（TaskSet）。調度階段的劃分是由DAGScheduler來

>>阅读原文<<