Spark內核剖析2---Spark yarn client/cluster模式提交任務流程

在Spark內核剖析1—Spark standalone模式提交任務過程中描述了spark的standalone提交模式的主要細節,這是spark最經典的模式。但一般在生產中,使用的都是yarn-client或yarn-cluster模式,下文主要描述其原理。 Yarn-cluster模式 這裏的ResourceManager相當於standalone的master,NodeManager相當於W
相關文章
相關標籤/搜索