Spark集羣和任務執行

【前言:承接《Spark通識》篇】 Spark集羣組件 Spark是典型的Master/Slave架構,集羣主要包括以下4個組件: Driver:Spark框架中的驅動器,運行用戶編寫Application 的main()函數。類比於MapReduce的MRAppmaster Master:主節點,控制整個集羣,監控worker。在Yarn模式中爲全局資源管理器 Worker:從節點,負責控制計算
相關文章
相關標籤/搜索