spark任務調度FIFO和FAIR的詳解

今天咱們主要來分析一下spark的任務調度,Spark中的調度模式主要有兩種：FIFO和FAIR。默認狀況下Spark的調度模式是FIFO（先進先出），誰先提交誰先執行，後面的任務須要等待前面的任務執行。而FAIR（公平調度）模式支持在調度池中爲任務進行分組，不一樣的調度池權重不一樣，任務能夠按照權重來決定執行順序。spark的調度模式能夠經過spark.scheduler.mode進行設置。ja

>>阅读原文<<