Shuffle流程

它要規劃一個任務，是不是就是規劃下有多少個map，有多少個reduce任務,然後在那些機器上再去啓動，所以它事先肯定先去規劃，要規劃它肯定就得去計算用多少個切片，其實在源碼裏面就可以看到它在哪裏計算，拿了多少個切片。 map輸出的數據到reduce之間，我們說框架做了很多的事，緩存，分組，排序，轉發，這一部分細節其實是很重要的，這個叫作MapReduce裏面的Shuffle機制。 1）這幅圖是不是

>>阅读原文<<