《Spark技術內幕》第六章Executor模塊詳解

Executor模塊詳解 Executor模塊負責運行Task計算任務,並將結果會傳到Driver。Spark支持多種資源調度框架,這些資源框架在爲計算任務分配資源後,最終都會使用Executor模塊完成最終的計算。 每個Spark的Application都是從SparkContext開始的,他通過Cluster Manager和Worker上的Executor建立聯繫,由每個Executor完成
相關文章
相關標籤/搜索