Spark 源碼閱讀(3)——SparkContext創建

代碼中的SparkContext在Spark應用程序的執行過程中起着主導作用,它負責與程序個Spark集羣進行交互,包括申請集羣資源、創建RDD、accumulators 及廣播變量等。SparkContext與集羣資源管理器、Worker結節點交互圖如下圖所示。 官網對圖下面幾點說明: (1)不同的Spark應用程序對應該不同的Executor,這些Executor在整個應用程序執行期間都存在並
相關文章
相關標籤/搜索