Spark作業基本運行原理

使用spark-submit提交spark作業，啓動相應的Driver進程，本地或工作節點 driver進程向集羣管理器（standalone）申請運行spark作業所需的資源（Executor進程） 在各個工作節點啓動一定數量的executor進程，每個進程佔有一定數量內存核CPU Driver進程調度spark作業：spark作業根據shuffle類算子被分爲多個stage，每個stage創建

>>阅读原文<<