Spark2.3.2源碼解析：Shuffle 過程寫入的 數據文件&索引文件

  Spark 在 shuffle 過程中,如果內存空間不足會向磁盤溢寫文件, 一個索引文件,一個數據文件. 那麼這兩個文件長什麼樣? 裏面放什麼數據呢?     文件命名:  ShuffleBlockId : "shuffle_" + shuffleId + "_" + mapId + "_" + reduceId 數據文件名: ShuffleDataBlockId : "shuffle_

>>阅读原文<<