mapreduce 原理

MapReduce各個執行階段 （1）MapReduce框架使用InputFormat模塊做Map前的預處理，比如驗證輸入的格式是否符合輸入定義；然後，將輸入文件切分爲邏輯上的多個InputSplit，InputSplit是MapReduce對文件進行處理和運算的輸入單位，只是一個邏輯概念，每個InputSplit並沒有對文件進行實際切割，只是記錄了要處理的數據的位置和長度。 （2）因爲Input

>>阅读原文<<