Spark 3.0新特性介紹

1. 自適應查詢優化 這是 Databricks 和Intel 中國團隊在做的項目(https://tinyurl.com/y3rjwcos),基於已完成的執行計劃節點的統計數據,優化剩餘的查詢執行計劃,它的特點是: 減少 Reducer 的數量 將 Sort Merge Join 轉換爲 Broadcast Hash Join 處理數據傾斜 2. 動態分區修剪 靜態分區裁剪優化 動態分區裁剪優化
相關文章
相關標籤/搜索