【Spark系列】：Spark 的 shuffle 文件尋址流程

文章目錄 1. 前言 2. 須要明白的概念 3. shuffle 尋址流程 4. 如何避免OOM 1. 前言 讓咱們先來回憶一下MapReduce 的 shuffle 過程。web 在MapReduce框架，Shuffle是鏈接Map和Reduce之間的橋樑，Map階段經過shuffle讀取數據並輸出到對應的Reduce；而Reduce階段負責從Map端拉取數據並進行計算。在整個shuffle過程

>>阅读原文<<