Mapreduce學習（五）——數據壓縮

一、爲什麼進行數據壓縮？ mapreduce操作需要對大量數據進行傳輸 二、數據壓縮的作用。 壓縮技術有效的減少底層存儲系統讀寫字節數，hdfs。 壓縮提高網絡帶寬和磁盤效率。 數據壓縮節省資源。 通過數據壓縮可以影響到mapreduce的性能。 注意：數據壓縮不適用於文件小任務多的情景 三、mapreduce常用的壓縮編碼          壓縮格式 是否需要安裝 文件拓展名 是否可以切分 DE

>>阅读原文<<