orc格式和parquet格式對比

相比傳統的方式存儲引擎,列式存儲引擎具有更高的壓縮比,更少的IO操作而備受青睞,尤其是在數據列column數很多,單詞操作僅針對若干列的情景,列式存儲引擎的性價比更高. 在互聯網數據應用場景下,大部分情況下,數據很大且數據字段很多,但每次查詢數據只針對其中的少數幾行,這時候列式存儲是極佳的選擇,目前在開源實現中,最有名的列式存儲引擎parquet 和orc ,在最近一年內,他們都晉升apache頂

>>阅读原文<<