Spark作業基本運行原理

Spark作業基本運行原理： 我們使用spark-submit提交一個spark作業之後，這個作業就會啓動一個對應的Driver進程。根據你使用的部署模式（deploy-mode）不同： Driver進程可能在本地啓動，也可能在集羣中的某個工作節點上啓動； Driver進程本身會根據我們設置的參數，佔有一定數量的內存和CPU core。 而Driver進程要做的第一件事情，就是向集羣管理器（可以是

>>阅读原文<<