Spark shuffle 文件尋址及 Executor 內存管理

一.文件尋址 根據 Spark Shuffle概述 最後，reduce task (或者說是 Worker 端)是如何找到索引文件這些磁盤小文件位置的呢？ 假如 spark.shuffle.memoryFraction 初始有50M ，第一次拉取數據的時候48M 可以放得下，還剩2M 的內存，第二次拉取的時候放不下了不會 OOM ，以後都不會 OOM ，而是直接溢寫磁盤。 假如 spark.shu

>>阅读原文<<