shuffle流程簡介

官方流程圖： Shuffle是MapReduce處理流程中的一個核心過程，它的每一個處理步驟是分散在maptask和reducetask節點上完成的，整體來看，分爲3個核心操作： 1、分區partition 2、排序sort 3、合併combine 詳細流程： 一、MAP 一個切片對應一個Maptask 1、分區（可參考：MapReduce切片、並行度、分區） 在將map()函數處理後得到的（ke

>>阅读原文<<