Spark-Scheduler:一,概述

Spark Scheduler:DAGScheduler和TaskScheduler。構建的不同的RDD,因爲代碼邏輯組成了一個DAG。Spark提供了多種轉換和動作,將複雜的拓撲隱藏掉,使用戶簡單的使用。   任務調度邏輯視圖 由上圖很容看出DAGScheduler是幹嘛的。 DAGScheduler根據依賴關係建立DAG,然後將DAG劃分不同的Stage(階段),然後每組由可以併發執行的一組T
相關文章
相關標籤/搜索