Spark on Yarn：任務提交參數配置

當在YARN上運行Spark作業，每個Spark executor作爲一個YARN容器運行。Spark可以使得多個Tasks在同一個容器裏面運行。 以下參數配置爲例子 spark-submit --master yarn-cluster  / yarn-client　　　　#使用集羣調度模式/客戶端模式 --num-executors  2      　　 # executor 數量 --exec

>>阅读原文<<