Hadoop列式存儲引擎Parquet/ORC和snappy壓縮

爲什麼80%的碼農都做不了架構師？>>>    　　相對於傳統的行式存儲格式，列式存儲引擎具有更高的壓縮比，更少的IO操作而備受青睞。列式存儲缺點：在column數很多，每次操作大部分列的時候，cpu壓力突增，而且增加處理時長。優點：在cloumn數很多，每次操作若干列的場景，列式存儲的性價比，性能更高。 　　在很多大數據的應用場景下面，數據量很大、單列數據字段很多;比如電信行業， 　　具有一定規

>>阅读原文<<