Spark源碼分析之-scheduler模塊

Background Spark在資源管理和調度方式上採用了類似於Hadoop YARN的方式,最上層是資源調度器,它負責分配資源和調度註冊到Spark中的所有應用,Spark選用Mesos或是YARN等作爲其資源調度框架。在每一個應用內部,Spark又實現了任務調度器,負責任務的調度和協調,類似於MapReduce。本質上,外層的資源調度和內層的任務調度相互獨立,各司其職。本文對於Spark的源
相關文章
相關標籤/搜索