SparkSQL自適應執行

阿里雲EMR-3.13.0版本的SparkSQL支持自適應執行功能。 解決哪些問題 SparkSQL自適應執行解決以下問題: shuffle partition個數 目前SparkSQL中reduce階段的task個數取決於固定參數spark.sql.shuffle.partition(默認值200)，一個作業一旦設置了該參數，它運行過程中的所有階段的reduce個數都是同一個值。 而對於不同的作

>>阅读原文<<