大數據的壓縮與存儲

壓縮 壓縮的好處 1.提升磁盤的利用率 2.加速網絡傳輸 壓縮的壞處 壓縮解壓需要消耗cpu 壓縮的技術 有損 無損 壓縮比 源文件1.4G 壓縮技術 剩餘大小 snappy 701M Lz4 693M LZO 684M gzip 447M Bzip2 390M 壓縮得越小，消耗的時間越多，速度越慢 分片 bzip,lzo(需要創建索引 create index) 支持分片，其餘壓縮方式都不支持分

>>阅读原文<<