hadoop考試重點: Map端的Shuffle過程

文字說明 Map端的輸出結果首先會被與入到緩存中【比磁盤效率高】， 當緩存滿時（80%寫入後），就會啓動流與擲作； 溢寫操作會清空內容，把內容寫入到磁盤空間。 每次溢寫操作會寫一個磁盤文件(key,value)， 當Map程序運行完成後，會把這個Map程序產生的溢寫文件歸併成一個大的文件(key,value1,value2,…)， 然後通知Reduce端來取數據

>>阅读原文<<