spark-submit工具參數說明

執行時須要傳入的參數說明

Usage: spark-submit [options] <app jar | python file> [app options]

參數名稱	含義
--master MASTER_URL	能夠是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local
--deploy-mode DEPLOY_MODE	Driver程序運行的地方，client或者cluster
--class CLASS_NAME	主類名稱，含包名
--name NAME	Application名稱
--jars JARS	Driver依賴的第三方jar包
--py-files PY_FILES	用逗號隔開的放置在Python應用程序PYTHONPATH上的.zip,  .egg, .py文件列表
--files FILES	用逗號隔開的要放置在每一個executor工做目錄的文件列表
--properties-file FILE	設置應用程序屬性的文件路徑，默認是conf/spark-defaults.conf
--driver-memory MEM	Driver程序使用內存大小
--driver-java-options
--driver-library-path	Driver程序的庫路徑
--driver-class-path	Driver程序的類路徑
--executor-memory MEM	executor內存大小，默認1G
--driver-cores NUM	Driver程序的使用CPU個數，僅限於Spark Alone模式
--supervise	失敗後是否重啓Driver，僅限於Spark  Alone模式
--total-executor-cores NUM	executor使用的總核數，僅限於Spark Alone、Spark on Mesos模式
--executor-cores NUM	每一個executor使用的內核數，默認爲1，僅限於Spark on Yarn模式
--queue QUEUE_NAME	提交應用程序給哪一個YARN的隊列，默認是default隊列，僅限於Spark on Yarn模式
--num-executors NUM	啓動的executor數量，默認是2個，僅限於Spark on Yarn模式
--archives ARCHIVES	僅限於Spark on Yarn模式