spark比mapreduce快的一個緣由

接觸spark時間不長，可是有些概念仍是沒有太校準，因而回顧了一下spark的文檔。讀到shuffle操做那塊發現spark的shuffle操做後的reduce也是存儲到文件而後從文件中讀取。之前一直覺得spark快是由於這部分操做是在內存中執行，也就是reduce操做從內存中讀取shufflemaptask的結果。看來之後學知識仍是要紮實一點，慢一點沒有關係。web 上面指出了，spark也是從

>>阅读原文<<