Hadoop 數據壓縮

1 概述 壓縮技術能夠有效減少底層存儲系統（HDFS） 讀寫字節數。壓縮提高了網絡帶寬和磁盤空間的效率。在 Hadoop 下，尤其是數據規模很大和工作負載密集的情況下，使用數據壓縮顯得非常重要。在這種情況下， I/O 操作和網絡數據傳輸要花大量的時間。還有， Shuffle與 Merge 過程同樣也面臨着巨大的 I/O 壓力。 鑑於磁盤 I/O 和網絡帶寬是 Hadoop 的寶貴資源，數據壓縮對於

>>阅读原文<<