Spark shuffle調優 調節map端內存緩衝

spark.shuffle.file.buffer，默認32k spark.shuffle.memoryFraction，0.2 其實，實際生產中，這兩個參數可能沒有那麼重要，往往來說，shuffle的性能不是因爲這方面原因導致的。需要配合其他性能調優一直使用 示意圖 注意 只有1.5版本以前的舊內存管理模式 用以調節 spark.shuffle.memoryFraction spark.stor

>>阅读原文<<