Spark中的內存管理(一)

一個Spark應用運行的過程如下所示: Driver 用戶的主程序提交到Driver中執行,在Driver中創建SparkContext,SparkContext初始化DAGScheduler和TaskScheduler,作爲coordinator負責從AppMaster申請資源,並將作業的Task調度到Executor上面執行。 在yarn-cluster模式下,AppMaster中包含了Dri
相關文章
相關標籤/搜索