Spark執行環境

Spark對任務的計算都依託於Executor的能力,所有的Executor都有自己的Spark執行環境SparkEnv。有SparkEnv,就可以將數據存儲在存儲體系中;就能利用計算引擎對計算任務進行處理;在節點間進行通信等。SparkEnv還提供了多種多樣的內部組件,實現不同的功能。SparkEnv是一個很重要的組件,雖然在創建SparkContext的時候也涉及它(只是因爲local模式的需
相關文章
相關標籤/搜索