MapReduce中自定義InputFormat,處理輸入小文件的問題,輸出時使用SequenceFileOutPutFormat合併文件

1.需求java          不管hdfs仍是mapreduce,對於小文件都有損效率,實踐中,又不免面臨處理大量小文件的場景,此時,就須要有相應解決             方案。將多個小文件合併成一個SequenceFile文件(SequenceFile文件是Hadoop用來存儲二進制形式的key-value對的文件            格式),SequenceFile裏面存儲着多個文
相關文章
相關標籤/搜索