Spark1.0.0 運行架構基本概念

Spark Application的運行架構由兩部分組成:driver program(SparkContext)和executor。Spark Application一般都是在集羣中運行,比如Spark Standalone、YARN、mesos,這些集羣給Spark Applicaiton提供了計算資源和這些資源管理,這些資源既可以給executor運行,也可以給driver program
相關文章
相關標籤/搜索