葵花寶典--Spark內核和優化

一、Spark內核 1、內核概述 Driver:將用戶程序轉換爲job、在executor之間進行調度、跟蹤executor的運行情況、通過UI展示運行情況 Executor:運行spark任務並返回結果,通過自身BlockManager爲RDD提供存儲和,並且加快RDD的計算 通用運行流程 2、部署模式 Standalone模式 Driver:是一個進程,我們編寫的Spark應用程序就運行在Dr
相關文章
相關標籤/搜索