Hadoop-5

CombineTextInputFormat切片機制 關於大量小文件的優化策略 1）默認情況下TextInputformat對任務的切片機制是按文件規劃切片，不管文件多小，都會是一個單獨的切片，都會交給一個maptask，這樣如果有大量小文件，就會產生大量的maptask，處理效率極其低下。 2）優化策略 （1）最好的辦法，在數據處理系統的最前端（預處理/採集），將小文件先合併成大文件，再上傳到H

>>阅读原文<<