二十一 Hadoop數據壓縮

文章目錄 1 壓縮概述 2 壓縮策略和原則 3 MR支持的壓縮編碼 4 壓縮方式選擇 4.1 Gzip壓縮 4.2 Bzip2壓縮 4.3 Lzo壓縮 4.4 Snappy壓縮 5 壓縮位置選擇 6 壓縮參數配置 1 壓縮概述 壓縮技術能夠有效減少底層存儲系統（HDFS）讀寫字節數。壓縮提高了網絡帶寬和磁盤空間的效率。在運行MR程序時，I/O操作、網絡數據傳輸、 Shuffle和Merge要花大量

>>阅读原文<<