Hive的幾種常見壓縮格式（ORC，Parquet，Sequencefile，RCfile，Avro）的讀寫查詢性能測試

一.測試背景 工做中想把歷史的APP日誌結構化到Hive中進行查詢，因爲數據較大，須要進行壓縮，根據Hive官方提供的幾種壓縮格式分別進行寫入，讀取，OLAP計算的性能測試，以求找到最好的壓縮格式。html   二.測試方法概述   數據來源：採用生產上數據抽樣，大小爲100G。原始日誌格式爲textfile文件（標準JSON）。 測試平臺：公司Ambari測試平臺，物理內存100G。 測試方法：

>>阅读原文<<