三 Spark應用提交流程

前置概念: 一、Master 和Worker 分別用於分配資源和管理資源。 從資源維度來看,一個程序運行分爲兩個階段。 1、階段1,先在Master上註冊程序,讓Master給程序分配資源,分配完之後。 2、階段2,程序就在Worker上用這些資源。 二、Driver和Executor是對於應用程序(App,即jar包)來說的。   如果用的是Yarn或是Mesos這些資源管理框架時,Master
相關文章
相關標籤/搜索