Hadoop-MapReduc Shuffle過程

過程介紹： 假如在hdfs中存儲一個300M文件，每個block的大小默認爲128M，而且默認的切片大小也是128M，因此，每一個MapTask任務會處理一個split，則是有三個MapTask並行處理。 一個 mr 程序啓動的時候，最先啓動的是 MRAppMaster，MRAppMaster 啓動後根據本次job 的描述信息，計算出需要的 maptask 實例數量，然後向集羣申請機器啓動相應數量

>>阅读原文<<