SparkRDMA:使用RDMA技術提升Spark的Shuffle性能

如下面的圖片看不清,請參見 https://www.iteblog.com/archives/1964.html,或點擊下面閱讀原文即可。 Spark Shuffle 基礎 在 MapReduce 框架中,Shuffle 是連接 Map 和 Reduce 之間的橋樑,Reduce 要讀取到 Map 的輸出必須要經過 Shuffle 這個環節;而 Reduce 和 Map 過程通常不在一臺節點,這意
相關文章
相關標籤/搜索