Spark任務執行原理

在以上圖中有四個機器節點，Driver和Worker是啓動在節點上的進程，運行在JVM中的進程。 1、Driver與集羣節點之間有頻繁的通信。 2、Driver負責任務(tasks)的分發和結果的回收。任務的調度。如果task的計算結果非常大就不要回收了。會造成oom。 3、Worker是Standalone資源調度框架裏面資源管理的從節點。也是JVM進程。 4、Master是Standalone

>>阅读原文<<