圖解SparkContext創建過程

1.SparkContext構建的頂級三大核心對象:DAGScheduler、TaskScheduler、ShedulerBackend,其中: 1)DAGScheduler是面向Job的Stage的高層調度器; 2)TaskScheduler是一個接口,根據具體的Cluster Manager的不同會有不同的實現,Standalone模式下具體的實現是TaskSchedulerImpl; 3)S
相關文章
相關標籤/搜索