spark------shuffle理解

1 shuffle介紹 在Hadoop的MapReduce框架中，shuffle是連接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須經過Shuffle這個環節。由於Shuffle階段涉及磁盤的讀寫和網絡傳輸，因此Shuffle的性能高低直接影響到整個程序的性能和吞吐量。Hadoop的MapReduce流程，其中Shuffle階段是介於Map和Reduce階段之間。 Shuff

>>阅读原文<<