spark-submit提交方式說明

#####提交格式 spark-submit [options] <app jar | python file> [app options]

#####提交參數

名稱	說明
--master MASTER_URL	如spark://host:port、mesos://host:port、yarn、yarn-cluster、yarn-client、local
--deploy-mode DEPLOY_MODE	Driver程序運行的方式，Client或者Cluster
--class CLASS_NAME	主類名稱，含包名
--name NAME	Spark應用的名稱
--jars JARS	加入到Driver和Executor的ClassPath中的jar包列表，以逗號分隔
--py-files PY_FILES	用逗號隔開的放置在Python應用程序PYTHONPATH上的.zip, .egg, .py文件列表
--files FILES	用逗號隔開的要放置在每一個executor工做目錄的文件列表
--properties-file FILE	設置應用程序屬性的文件路徑，默認是conf/spark-defaults.conf
--driver-memory MEM	Driver程序使用內存大小
--driver-java-options	java配置選項，好比GC、新生代相關信息
--driver-library-path	Driver第三方jar包路徑
--driver-class-path	Driver的類目錄
--executor-memory MEM	executor內存大小，默認1G
--driver-cores NUM	Driver程序的使用CPU個數，僅限於standalone模式，默認1個
--supervise	失敗後是否重啓Driver，僅限於standalone模式
--total-executor-cores NUM	executor使用的總核數，僅限於standalone、Spark on Mesos模式
--executor-cores NUM	每一個executor使用的內核數，默認爲1，僅限於Spark on Yarn模式
--queue QUEUE_NAME	提交應用程序給哪一個YARN的隊列，默認是default隊列，僅限於Spark on Yarn模式
--num-executors NUM	啓動的executor數量，默認是2個，僅限於Spark on Yarn模式
--archives ARCHIVES	逗號分隔的歸檔文件列表，會被解壓到每一個Executor的工做目錄中，僅限於Spark on Yarn模式