Spark on Yarn：任務提交參數配置

當在YARN上運行Spark做業，每一個Spark executor做爲一個YARN容器運行。Spark可使得多個Tasks在同一個容器裏面運行。 如下參數配置爲例子併發 spark-submitspa --master yarn-cluster  / yarn-client　　　　#使用集羣調度模式/客戶端模式blog --num-executors  2      　　 # executor

>>阅读原文<<