hadoop壓縮框架

 一般來說,計算機處理的數據都存在一些冗餘度,同時數據中間,尤其是相鄰數據間存在着相關性,所以可以通過一些有別於原始編碼的特殊編碼方式來保存數據,使數據佔用的存儲空間比較小,這個過程一般叫壓縮。和壓縮對應的概念是解壓縮,就是將被壓縮的數據從特殊編碼方式還原爲原始數據的過程。 壓縮廣泛應用於海量數據處理中,對數據文件進行壓縮,可以有效減少存儲文件所需的空間,並加快數據在網絡上或者到磁盤上的傳輸速度。
相關文章
相關標籤/搜索