Spark核心原理 - 做業執行

Spark做業執行原理 Spark的做業和任務調度系統是其核心，它可以有效地進行調度的根本緣由是對任務劃分DAG和容錯，使得它對底層到頂層的各個模塊之間的調用和處理顯得遊刃有餘。下面介紹一些相關術語。node   做業(Job)：RDD中由行動操做所生成的一個或多個調度階段。 調度階段(Stage)：每一個做業會由於RDD之間的依賴關係拆分紅多組任務集合，成爲調度階段，也叫作任務集(TaskSet

>>阅读原文<<