淺析 Spark Shuffle 內存使用

在使用Spark進行計算時，我們經常會碰到作業 (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發生在 Shuffle 階段。那麼在Spark Shuffle 中具體是哪些地方會使用比較多的內存而有可能導致 OOM 呢？ 爲此，本文將圍繞以上問題梳理Spark內存管理和 Shuffle 過程中與內存使用相關的知識；然後，簡要分析下在 Spark Shuffle 中有可

>>阅读原文<<