Shuffle階段詳細解讀

Shuffle階段說明 shuffle階段主要包括map階段的combine、group、sort、partition以及reducer階段的合併排序。Map階段通過shuffle後會將輸出數據按照reduce的分區分文件的保存，文件內容是按照定義的sort進行排序好的。Map階段完成後會通知ApplicationMaster，然後AM會通知Reduce進行數據的拉取，在拉取過程中進行reduce

>>阅读原文<<