Spark任務執行原理

首先，先看一幅圖 以上圖中有四個機器節點，Driver 和 Worker 是啓動在服務器節點上的進程，這些進程都運行在 JVM 中。 上述圖的運行步驟： Driver 與集羣節點之間有頻繁的通信。 Driver 負責任務(tasks)的分發和結果的回收、任務的調度。如果 task的計算結果非常大就不要回收了，會造成 OOM(內存溢出)。 Worker 是 Standalone 資源調度框架裏面資源

>>阅读原文<<