mapreduce CombineTextInputFormat合併小文件

CombineTextInputFormat是用於合併小文件的。通過調用setMaxInputSplitSize方法設置maxSize。 有兩個主要步驟， （1）虛擬存儲，先按照指定規則把指定目錄下的文件都切分爲小於maxSize的更小文件。當然，原本就小於maxSize的小文件不做切分。只有大於maxSIze的小文件會切分的比maxSize更小。切分後的所有文件都是小於maxSize的，當然，這

>>阅读原文<<