spark 大型項目實戰(三十六):Shuffle調優之調節map端內存緩衝與reduce端內存佔比

spark.shuffle.file.buffer，默認32k spark.shuffle.memoryFraction，0.2 map端內存緩衝，reduce端內存佔比；很多資料、網上視頻，都會說，這兩個參數，是調節shuffle性能的不二選擇，很有效果的樣子，實際上，不是這樣的。 以實際的生產經驗來說，這兩個參數沒有那麼重要，往往來說，shuffle的性能不是因爲這方面的原因導致的 但是，有一

>>阅读原文<<