「戲」說spark---spark Shuffle詳解（一）

「戲」說spark---spark Shuffle詳解（一） Shuffle簡介 Shuffle描述着數據從map task輸出到reduce task輸入的這段過程。shuffle是鏈接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須通過shuffle這個環節，shuffle的性能高低直接影響了整個程序的性能和吞吐量。由於在分佈式狀況下，reduce task須要跨節點去拉取

>>阅读原文<<