Spark 3.0 新特性 之 自適應查詢與分區動態裁剪

Spark憋了一年半的大招後，發佈了3.0版本，新特性主要與Spark SQL和Python相關。這也恰恰說明了大數據方向的兩大核心：BI與AI。下面是本次發佈的主要特性，包括性能、API、生態升級、數據源、SQL兼容、監控和調試等方面的升級。 本次主要整理了性能方面的優化，包括了自適應查詢與動態分區裁剪。 1 自適應查詢 AQE，Adaptive Query Execution，說的簡單點就是讓

>>阅读原文<<