【Hadoop】22-shuffle和排序

MapReduce確保每個reducer的輸人都是按鍵排序的。系統執行排序、將map輸出作爲輸人傳給reducer的過程稱爲shuffle。在此,我們將學習shuflle是如何工作的,因爲它有助於我們理解工作機制(如果需要優化MapReduce程序)。shuffle屬於不斷被優化和改進的代碼庫的一部分,因此下面的描述有老要隱藏一些細節(也可能隨時間而改變,目前是020版本)。從許多方面來看,shu
相關文章
相關標籤/搜索