Spark 提供了一個名爲spark-submit 的單一工具來跨集羣管理器的提交做業,命令以下:python
bin/spark-submit [options] <app jar | python file> [app options]
一、[options]是spark-submit 的標誌列表。你能夠運行spark-submit --help來枚舉全部可能的標誌。
二、<app jar | python file>指向包含你程序入口點的JAR 包或者python 腳本。
三、[app options]是要傳入你的程序的參數。若是你程序中的main()方法解析參數,
看到的就只是[app options],看不到指定給spark-submit 的標誌app
例:bin/spark-submit --master spark://host:7077 --executor-memory 10g my_script.py工具
--master 標誌指定要鏈接的集羣的URLspa
更多Optionsblog