spark-submit提交spark任務的具體參數配置說明

今天咱們主要來講一下spark-submit的時候一些重要的參數的配置,和spark提交的兩種模式; spark提交任務常見的兩種模式: 1,local[k]:本地使用k個worker線程運行saprk程序.這種模式適合小批量數據在本地調試代碼用.(若使用本地的文件,須要在前面加上:file://) 2,spark on yarn模式:     (1)yarn-client模式: 以client模

>>阅读原文<<