MapReduce中Splits的劃分

      MapReduce框架在執行時，先使用InputFormat模塊做Map的預處理，比如驗證輸入的格式是否符合輸入的定義；然後，將輸入文件劃分爲邏輯上的多個InputSplit，InputSplit是MapReduce對文件進行處理和運算的輸入單位，只是一個邏輯概念，每個InputSplit並沒有對文件進行實際的切割，只是記錄了要處理的數據的位置和長度。       因爲InputSpl

>>阅读原文<<