Spark任務執行流程隨筆

  當使用spark-submit提交一個做業以後，這個做業就會啓動一個對應的driver進程。       根據你使用的部署模式（deploy-mode）不一樣，driver進程可能在本地啓動，也可能在集羣中某個工做節點上啓動。       driver進程自己會根據咱們設置的參數，佔有必定數量的內存和CPU core。而driver進程要作的第一件事，就是向集羣管理器（能夠是Spark Sta

>>阅读原文<<