SparkSQL 學習筆記----Parquet數據源之合併元數據

1、使用場景 如同ProtocolBuffer，Avro，Thrift一樣，Parquet也是支持元數據合併的。 用戶可以在一開始就定義一個簡單的元數據，然後隨着業務的需要，逐漸往元數據中添加更多的列。在這種情況下，用戶可能會創建多個Parquet文件，有着多個不同的但是卻互相兼容的元數據。Parquet數據源支持自動推斷出這種情況，並且進行多個Parquet文件的元數據的合併。 2、 開啓Par

>>阅读原文<<