Spark---Shuffle調優之調節map端內存緩衝與reduce端內存佔比

一、map端內存緩衝，reduce端內存佔比概述app map端內存緩衝，reduce端內存佔比；不少資料、網上視頻，都會說，這兩個參數，是調節shuffle性能的不二選擇，頗有效果的樣子，實際上，不是這樣的。jvm 以實際的生產經驗來講，這兩個參數沒有那麼重要，每每來講，shuffle的性能不是由於這方面的緣由致使的 可是，有一點點效果的，broadcast，數據本地化等待時長；這兩個shuff

>>阅读原文<<