[轉]SparkSQL的自適應執行---Adaptive Execution

1 背景 本文介紹的 Adaptive Execution 將可以根據執行過程中的中間數據優化後續執行，從而提高整體執行效率。核心在於兩點 執行計劃可動態調整 調整的依據是中間結果的精確統計信息 2 動態設置 Shuffle Partition 2.1 Spark Shuffle 原理     如上圖所示，該 Shuffle 總共有 2 個 Mapper 與 5 個 Reducer。每個 Mapp

>>阅读原文<<