傾斜join優化 Skewed Join

  翻譯：傾斜join優化設計 https://issues.apache.org/jira/browse/SPARK-29544 1.背景 數據傾斜是數據表在集羣中分區之間分佈不均勻導致的。數據傾斜會嚴重降低查詢性能，特別實在join的場景下。在集羣中，大表之間join需要shuffling並且數據傾斜會導致任務極端不平衡的運行。有三個主要的方法處理skew join： 1.增加任務的並行數，使

>>阅读原文<<