Spark內核解析之(4)SparkContext原理分析

在 Spark 中由 SparkContext 負責與集羣進行通訊、資源的申請以及任務的分配和監控等。當 Worker 節點中的 Executor 運行完畢 Task 後,Driver 同時負責將SparkContext 關閉。通常也可以使用 SparkContext 來代表驅動程序(Driver)。 下圖爲SparkContext 與集羣交互流程圖: SparkContext 是用戶通往 Spa
相關文章
相關標籤/搜索