Spark 2.4 正式發佈，重要功能詳細介紹

  如下： ♦ 添加一種支持屏障模式(barrier mode)的調度器，以便與基於MPI的程序更好地集成，例如， 分佈式深度學習框架; ♦ 引入了許多內置的高階函數，以便更容易處理複雜的數據類型(比如數組和 map); ♦ 開始支持 Scala 2.12; ♦ 允許我們對 notebooks 中的 DataFrame 進行熱切求值(eager evaluation)，以便於調試和排除故障; ♦

>>阅读原文<<