spark的三種模式的詳細運行過程(基於standalone與基於yarn)

一、Standalone模式 1、使用SparkSubmit提交任務的時候(包括Eclipse或者其它開發工具使用new SparkConf()來運行任務的時候),Driver運行在Client;使用SparkShell提交的任務的時候,Driver是運行在Master上 2、使用SparkSubmit提交任務的時候,使用本地的Client類的main函數來創建sparkcontext並初始化它;
相關文章
相關標籤/搜索