Spark----關於數據傾斜

如何定位數據傾斜 數據傾斜通常會發生在shuffle過程當中。很大程度上是你使用了可能會觸發shuffle操做的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。sql spark 調優: 調優工具: 一、Spark Web UI       Spark內置應用運行監控工具 二、Ganglia  

>>阅读原文<<