MapReduce:詳解shuffle

shuffle簡介 MapReduce的shuffle一般是指Map輸出到Reduce輸入的整個過程。 整個shuffle過程中伴隨着大量的磁盤IO , 網絡IO 。 shuffle性能的高低 , 直接決定了整個程序的性能高低 。 shuffle的字面意思是洗牌 , 即有序 - 無序的一個過程 , 比如JDK中的shuffle , 它的作用就是隨機打亂集合中的元素 。但在MapReduce中 ,

>>阅读原文<<