Spark2.4.0屏障調度器

前幾天，浪尖發了一篇文章，講了Spark 2.4發佈更新狀況：面試 Spark2.4.0發佈了！ 安全 其中，就有一項說到Spark 爲了支持深度學習而引入的屏障調度器。本文就詳細講講。 架構 基於消息傳遞結構的計算模型和Spark計算模型是有很大區別。在Spark 內部，每一個Stage的某一個一個task不會依賴於相同Stage任何其餘的task，所以，Spark的task 能夠被獨立進行調度

>>阅读原文<<