Spark Yarn核心概念說明

1) Driver：和ClusterManager通訊，進行資源申請、任務分配並監督其運行情況等。spa 2) ClusterManager：指YARN。進程 3) DAGScheduler：把spark做業轉換成Stage的DAG圖。資源 4) TaskScheduler：把Task分配給具體的Executor。spark 5) ResourceManager：負責整個集羣的資源管理和分配。io

>>阅读原文<<