Spark 3.0 - AQE淺析 (Adaptive Query Execution)

一、前言 近些年來，在對Spark SQL優化上，CBO是最成功的一個特性之一。 CBO會計算一些和業務數據相關的統計數據，來優化查詢，例如行數、去重後的行數、空值、最大最小值等。 Spark根據這些數據，自動選擇BHJ或者SMJ，對於多Join場景下的Cost-based Join Reorder（能夠參考以前寫的這篇文章），來達到優化執行計劃的目的。 可是，因爲這些統計數據是須要預先處理的，會

>>阅读原文<<