Spark 3.0新特性介紹

1. 自適應查詢優化 這是 Databricks 和Intel 中國團隊在做的項目（https://tinyurl.com/y3rjwcos），基於已完成的執行計劃節點的統計數據，優化剩餘的查詢執行計劃，它的特點是： 減少 Reducer 的數量 將 Sort Merge Join 轉換爲 Broadcast Hash Join 處理數據傾斜 2. 動態分區修剪 靜態分區裁剪優化 動態分區裁剪優化

>>阅读原文<<