Hadoop中MR支持的各種壓縮及解碼器

Hadoop中MR支持的各種壓縮及解碼器  MR中默認支持DEFLATE壓縮格式，文件擴展名.defiate 和文本處理相同，不需要修改。  Gzip壓縮：壓縮率比較高，並且壓縮/解壓速度也比較快，且被hadoop本身支持，大部分Linux系統自帶Gzip命令，使用方便，但是不支持切片。當每個文件壓縮之後在130M以內，都可以考慮用Gzip壓縮，如一天或一個小時的日誌。  Bzip2壓縮：支持切片

>>阅读原文<<