3. Spark任務執行原理

Spark任務執行原理 以上圖中有四個機器節點，Driver和Worker是啓動在節點上的進程，運行在JVM中的進程。 Driver與集羣節點之間有頻繁的通信。 Driver負責任務(tasks)的分發和結果的回收。任務的調度。如果task的計算結果非常大就不要回收了。會造成oom。 Worker是Standalone資源調度框架裏面資源管理的從節點。也是JVM進程。 Master是Standal

>>阅读原文<<