spark1.x-spark-sql-數據傾斜解決方案

聚合源數據java 過濾致使傾斜的key where條件web 提升shuffle並行度 spark.sql.shuffle.partitionssql sqlContext.setConf("spark.sql.shuffle.partitions","1000") // 默認的並行度 爲 200 reducetask只有200 雙重group by 改寫SQL 改爲兩次Group byj

>>阅读原文<<