大數據平臺的元數據管理

概念解釋 1，大數據平臺——是指服務於大數據計算或存儲的平臺，包括大數據的計算集羣(hive、spark、flink、storm等等)和存儲集羣(如hadoop、hbase等等)。 2，大數據平臺涉及的元數據——由大數據做業的業務邏輯直接讀寫處理的業務數據，都不是元數據，除此以外的數據都是元數據。例如數據表的schema信息、任務之間的血緣關係、任務的權限映射關係、數據的業務屬性、數據佔用的磁盤空

>>阅读原文<<