Spark存儲分析 - Shuffle分析

Shuffle簡介 在MapReduce框架中，shuffle是鏈接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須通過shuffle這個環節，shuffle的性能高低直接影響了整個程序的性能和吞吐量。Spark做爲MapReduce框架的一種實現，天然也實現了shuffle的邏輯，本文就深刻研究Spark的shuffle是如何實現的，有什麼優缺點。html   Shuffle

>>阅读原文<<