一篇文章教你使用RDMA技術提升Spark的Shuffle性能

Spark Shuffle 基礎 在 MapReduce 框架中，Shuffle 是連接 Map 和 Reduce 之間的橋樑，Reduce 要讀取到 Map 的輸出必須要經過 Shuffle 這個環節;而 Reduce 和 Map 過程通常不在一臺節點，這意味着 Shuffle 階段通常需要跨網絡以及一些磁盤的讀寫操作，因此 Shuffle 的性能高低直接影響了整個程序的性能和吞吐量。 與 Ma

>>阅读原文<<