spark源碼閱讀7-調度系統1(概述)

簡單來說,Spark調度系統用於將用戶提交的「任務」調度到集羣中的不同結點執行。但是Spark實現的調度系統,並非一句話所概括的這麼簡單。Spark的資源調度爲兩層調度。這裏只介紹第二層調度。(第一層調度將在9中介紹) 調度的對象是什麼?作業或者任務。在業務場景中所說的任務與Spark集羣中運行的任務在概念上存在很多偏差。人類往往把一件要做的事情認爲是任務,因此「向Spark集羣提交一個任務」這句
相關文章
相關標籤/搜索