spark-submit 分發應用

Spark 提供了一個名爲spark-submit 的單一工具來跨集羣管理器的提交做業,命令以下:python

bin/spark-submit [options] <app jar | python file> [app options]
一、[options]是spark-submit 的標誌列表。你能夠運行spark-submit --help來枚舉全部可能的標誌。
二、<app jar | python file>指向包含你程序入口點的JAR 包或者python 腳本。
三、[app options]是要傳入你的程序的參數。若是你程序中的main()方法解析參數,
     看到的就只是[app options],看不到指定給spark-submit 的標誌app

例:bin/spark-submit --master spark://host:7077 --executor-memory 10g my_script.py工具

      --master 標誌指定要鏈接的集羣的URLspa

更多Optionsblog

相關文章
相關標籤/搜索