Spark學習筆記4——spark運行機制

Spark架構及運行機制 Spark運行架構包括集羣資源管理器(Cluster Manager)、運行作業任務的工作節點(Worker Node)、每個應用的任務控制節點(Driver)和每個工作節點上負責具體任務的執行進程(Executor)。其中,集羣資源管理器可以是Spark自帶的資源管理器,也可以是YARN或Mesos等資源管理框架。 與Hadoop MapReduce計算框架相比,Spa
相關文章
相關標籤/搜索