hadoop中的壓縮

hadoop中的壓縮 一、考慮指標 二、具體壓縮格式 1. Gzip 2. bzip2 3. LZO 4. Snappy 三、總結 一、考慮指標 （1）壓縮文件的大小：越小越好 （2）壓縮文件所用時間：越快愈好 （3）已經壓縮的格式是否可以進行再分割：可以分割的格式允許單一文件由多個 Mapper 程序處理，可實現更好的並行度。 二、具體壓縮格式 1. Gzip 優點：壓縮率比較高，而且壓縮/解壓

>>阅读原文<<