spark運行過程

一、構建spark application運行環境,建立sparkContext對象,SparkContext對象向資源管理器申請運行excuter的資源; 二、資源管理器分配運行excuter的資源,而且excuter與資源管理器保持心跳。 三、sparkContext構建DAG圖,經過DAGScheduler進行Stage劃分,而且將stage發送給TaskScheduler 四、TaskSc
相關文章
相關標籤/搜索