MapReduce切片（Split）和分區（Partitioner）

MapReduce中，分片、分區、排序和分組（Group）的關係圖：   分片大小 對於HDFS中存儲的一個文件，要進行Map處理前，需要將它切分成多個塊，才能分配給不同的MapTask去執行。 分片的數量等於啓動的MapTask的數量。默認情況下，分片的大小就是HDFS的blockSize。 Map階段的對數據文件的切片，使用如下判斷邏輯： protected long computeSpl

>>阅读原文<<