Spark 運行流程框架.和shuffle原理

Spark 運行流程框架.和shuffle原理 第一,spark框架原理 我們使用spark-submit提交一個Spark作業之後，這個作業就會啓動一個對應的Driver進程。根據你使用的部署模式（deploy-mode）不同，Driver進程可能在本地啓動，也可能在集羣中某個工作節點上啓動。而Driver進程要做的第一件事情，就是向集羣管理器（可以是Spark Standalone集羣，也可以

>>阅读原文<<