大數據面試題——Spark篇

1. 簡要講述hadoop和spark的shuffle相同和差別？ 1）從高層次的的角度來看，二者並無大的差異。 它都是將 mapper（Spark 裏是 ShuffleMapTask）的輸出進行 partition，不一樣的 partition 送到不一樣的 reducer（Spark 裏 reducer 多是下一個 stage 裏的 ShuffleMapTask，也多是 ResultTask）

>>阅读原文<<