【Spark】使用spark-submit部署應用,Spark Application 運行的兩種方式Client和Cluster

Spark爲各種集羣管理器提供了統一的工具來提交作業,這個工具是spark-submit。 如果在調用spark-submit時除了腳本或JAR包的名字之外沒有其他的參數,那麼這個Spark應用只會在本地執行。當我們希望將應用提交到Spark獨立集羣上的時候,可以將集羣的地址和希望啓動的每個執行器進程的大小作爲附加標記提供。 --master標記指定要連接的集羣URL; spark-submit
相關文章
相關標籤/搜索