壓縮在大數據中的使用

1、爲什麼要使用壓縮 單機：磁盤空間的限制 Hadoop/HDFS:DN是用來存儲數據用的 藥對HDFS上的數據進行壓縮，減少 存儲在HDFS上數據所佔用的空間 1T ==》假如壓完 300G 3T ==>就是 900G INPUT==>MR==>OUTPUT 好處： 減少HDFS讀寫數據量 提升網絡傳輸效率 2、壓縮的使用場景 input 數據的進入------》xxxx處理------->ou

>>阅读原文<<