MapReduce(3)

自定義InputFormat 自定義步驟： 1、自定義一個類繼承FileInputFormat 2、改寫recurdReader,實現一次讀取一個完整文件放置爲ky 3、在輸出時使用SequenceFileOutputFomat輸出合併文件 無論HDFS還是MapReduce，在處理小文件時效率都非常低，但又難免面臨處理大量小文件的場景，此時，就需要有相應解決方案。可以自定義InputFormat

>>阅读原文<<