Hive壓縮方法的選擇

(以下內容主要爲讀《Hive編程指南》後的小小總結。 1.背景 儘管hadoop 的文件系統支持對於非壓縮數據的線性擴展存儲,但是對數據進行壓縮還是有很大好處的—節約磁盤空間、增加吞吐量和性能(通過減少載入內存的數據量而提高IO吞吐量會更加提高網絡傳輸性能)。當然,文件壓縮過程和解壓縮過程會增加CPU開銷。 壓縮作用於不同類型的任務,影響是不一樣的。對於: IO密集型,可以以提高性能。Hadoop
相關文章
相關標籤/搜索