SparkSQL自適應執行優化引擎

Spark SQL 自適應執行優化引擎 背景 Adaptive Execution 將可以根據執行過程中的中間數據優化後續執行，從而提高整體執行效率。核心在於兩點 執行計劃可動態調整 調整的依據是中間結果的精確統計信息 spark 2.3 開始試驗功能 spark 3.0 正式發佈 自適應查詢執行（Adaptive Query Execution） 現狀與挑戰 如何設置合適的shuffle par

>>阅读原文<<