SparkSQL自定義Hint優化器解決熱點數據致使JOIN數據傾斜問題

https://www.jianshu.com/p/ea52f3801d7bsql 場景 有時咱們經過sparkSQL來分析數據，當使用Join操做時，最讓人頭疼的莫過於數據傾斜了，若是你是大表關聯小表的狀況，那狀況還不是很糟糕，能夠使用MAPJOIN來破解一下，spark使用spark.sql.autoBroadcastJoinThreshold參數來自動開啓MAPJOIN； BUT，若是兩張表

>>阅读原文<<