Spark 2.4重磅發佈:優化深度學習框架集成,提供更靈活的流式接收器

Apache Spark 2.4.0是2.x系列中的第五個版本。此版本增加了屏障執行模式,以便更好地與深度學習框架集成;引入30多個更高階的內置函數,能夠更輕鬆地處理複雜數據類型;優化K8s集成,同時提供Scala 2.12實驗性支持。其他主要更新還包括內置Avro數據源、圖像數據源,更加靈活的流式接收器,取消傳輸過程中2GB塊大小的限制,Pandas UDF改進。此外,此版本繼續關注可用性、穩定
相關文章
相關標籤/搜索