平臺搭建---Spark Submit提交應用程序及yarn

本部分來源,也能夠到spark官網查看英文版。 spark-submit 是在spark安裝目錄中bin目錄下的一個shell腳本文件,用於在集羣中啓動應用程序(如***.py腳本);對於spark支持的集羣模式,spark-submit提交應用的時候有統一的接口,不用太多的設置。 使用spark-submit時,應用程序的jar包以及經過—jars選項包含的任意jar文件都會被自動傳到集羣中。h
相關文章
相關標籤/搜索