Hadoop數據壓縮

1 gzip壓縮java 優勢：壓縮率比較高，並且壓縮/解壓速度也比較快；hadoop自己支持，在應用中處理gzip格式的文件就和直接處理文本同樣；有hadoop native庫；大部分linux系統都自帶gzip命令，使用方便。linux 缺點：不支持split。算法 應用場景：當每一個文件壓縮以後在130M之內的（1個塊大小內），均可以考慮用gzip壓縮格式。譬如說一天或者一個小時的日誌壓縮成

>>阅读原文<<