HBASE將來可期的數據壓縮算法之ZSTD

tl;dr(太長不讀):git zstd是Facebook在2016年開源的新無損壓縮算法,優勢是壓縮率和壓縮/解壓縮性能都很突出。 在咱們測試的文本日誌壓縮場景中,壓縮率比gzip提升一倍,壓縮性能與lz四、snappy至關甚至更好,是gzip的10倍以上。 zstd還有一個特別的功能,支持以訓練方式生成字典文件,相比傳統壓縮方式能大大的提升小數據包的壓縮率。 在過去的兩年裏,Linux內核、H
相關文章
相關標籤/搜索