Spark:spark在集羣中的運行機制

1.Spark運行時架構   Spark可以在各種各樣的集羣管理器(Hadoop Yarn、Apache Mesos,還有spark自帶的獨立集羣管理器)上運行。Spark集羣採用的是主從結構,在一個spark集羣中,有一個節點負責中央協調,調度各個分佈式工作節點。這個中央協調節點被稱爲驅動器節點(driver),與之對應的工作節點被稱爲執行器節點(executor)。驅動器節點可以和大量的執行器
相關文章
相關標籤/搜索