MapReduce執行流程Shuffle

Shuffle: *洗牌或者弄亂的意思 *Collections.shuffle(List):隨機得打亂參數裏的元素順序 *MapReduce裏Shuffle:描述着數據從map task輸出到reduce task輸入的這段過程 下面就詳細介紹Shuffle這段過程: *map task輸出的<key,value>對，首先先放在內存(memory)中，然後會spill,溢寫到磁盤中，即在內存中溢

>>阅读原文<<