MapReduce和Yarn的理解

MapReduce設計理念：移動計算，而不移動數據 計算框架MR說明：程序員 分爲4個步驟，按順序執行： split（左淺黃色框）：將單個的block進行切割，獲得數據片斷。 map Task（左藍色框）：本身寫的map程序，一個map程序就叫一個map任務，有多少個碎片，就有多少個map任務（Java線程），輸入的數據就是鍵值對數據，輸出的數據也是鍵值對。 shuffle（洗牌，白色框）：將ma

>>阅读原文<<