Spark 2.4重磅發佈：優化深度學習框架集成，提供更靈活的流式接收器

Apache Spark 2.4.0是2.x系列中的第五個版本。此版本增加了屏障執行模式，以便更好地與深度學習框架集成；引入30多個更高階的內置函數，能夠更輕鬆地處理複雜數據類型；優化K8s集成，同時提供Scala 2.12實驗性支持。其他主要更新還包括內置Avro數據源、圖像數據源，更加靈活的流式接收器，取消傳輸過程中2GB塊大小的限制，Pandas UDF改進。此外，此版本繼續關注可用性、穩定

>>阅读原文<<