數據倉庫系列之元數據管理

       元數據（Meta Data），主要記錄數據倉庫中模型的定義、各層級間的映射關係、監控數據倉庫的數據狀態及 ETL 的任務運行狀態。通常會經過元數據資料庫（Metadata Repository）來統一地存儲和管理元數據，其主要目的是使數據倉庫的設計、部署、操做和管理能達成協同和一致。元數據是數據倉庫管理系統的重要組成部分，元數據管理是企業級數據倉庫中的關鍵組件，貫穿了數據倉庫的整個生命週期，使用元數據驅動數據倉庫的開發，使數據倉庫自動化，可視化。

　　構建數據倉庫的主要步驟之一是 ETL。這時元數據將發揮重要的做用，它定義了源數據系統到數據倉庫的映射、數據轉換的規則、數據倉庫的邏輯結構、數據更新的規則、數據導入歷史記錄以及裝載週期等相關內容。數據抽取和轉換的專家以及數據倉庫管理員正是經過元數據高效地構建數據倉庫。

 

       用戶在使用數據倉庫時，經過元數據訪問數據，明確數據項的含義以及定製報表。數據倉庫的規模及其複雜性離不開正確的元數據管理，包括增長或移除外部數據源，改變數據清洗方法，控制出錯的查詢以及安排備份等。

1、元數據類型

​　　元數據可分爲技術元數據、業務元數據和管理過程元數據。

　　一、 技術元數據爲開發和管理數據倉庫的 IT 人員使用，它描述了與數據倉庫開發、管理和維護相關的數據，包括數據源信息、數據轉換描述、數據倉庫模型、數據清洗與更新規則、數據映射和訪問權限等。

　　二、 業務元數據爲管理層和業務分析人員服務，從業務角度描述數據，包括商務術語、數據倉庫中有什麼數據、數據的位置和數據的可用性等，幫助業務人員更好地理解數據倉庫中哪些數據是可用的以及如何使用。

　　三、 管理過程元數據指描述管理領域相關的概念、關係和規則的數據，主要包括管理流程、人員組織、角色職責等信息。

2、元數據功能

　　一、血緣分析：向上追溯元數據對象的數據來源。血緣分析能夠幫助您輕鬆回答：'我正在查看的報告數據來源是什麼？'以及'對當前分析的數據應用了哪些轉換處理？'等問題。這樣的機制及對這些問題的回答確保了對所分析的數據更高的信任水平，並有助於實現許多行業(包括醫療、金融、銀行和製造業等)對所呈現數據的特殊監管及合規性要求。

　　二、影響分析：向下追溯元數據對象對下游的影響。影響分析可讓您輕鬆應對變動可能產生的影響，自動識別與其相關的依賴項和潛在的影響還能夠跟蹤全部對象及其依賴關係，最後咱們還提供數據全生命週期的可視化顯示。例如，若是您的某一信息系統中準備將「銷售額」從包含稅費更改成不包括稅費，則SE-DWA將自動顯示全部使用了「銷售金額」字段，以便您能夠肯定有哪些工做須要完成，而且建議您在更改前完成該工做。

　　三、同步檢查：檢查源表到目標表的數據結構是否發生變動。

　　四、指標一致性分析：按期分析指標定義是否和實際狀況一致。

　　五、實體關聯查詢：事實表與維度表的代理鍵自動關聯

3、元數據應用

　　一、ETL自動化管理：使用元數據信息自動生成物理模型，ETL程序腳本，任務依賴關係和調度程序。

　　二、數據質量管理：使用數據質量規則元數據進行數據質量測量。數據質量根據設定的規則幫助您過濾出有問題的數據，並智能分析數據質量缺陷。

　　三、數據安全管理：使用元數據信息進行報表權限控制。能夠方便查看用戶和訪問權限，並啓用對象級和行級安全管理。對象級安全性確保經過身份驗證的用戶只能訪問他們被受權查看的數據、表或列，其它數據則不可見。基於行的安全性會更進一步，能夠限制特定的組成員只能夠訪問表中特定的數據。

　　四、數據標準管理：使用元數據信息生成標準的維度模型。

　　五、數據接口管理：使用元數據信息進行接口統一管理。多種數據源接入，並提供多種插件對接最流行的源系統。應該能夠簡單方便獲取數據。

　　六、項目文檔管理：使用元數據能夠自動、方便的生成的健壯全面的項目文檔，其以幫助您應對各類對於數據合規性要求。讀取元數據模型，並生成pdf格式的描述文件。生成文檔您查看每一個對象的名稱、設置、描述和代碼。

　　七、數據語義管理：業務用戶在自助服務分析中面臨的挑戰他們不瞭解數據倉庫從而沒法正確解釋數據，使用元數據能夠語義層建模，使用易於業務用戶理解的描述來轉換數據。

4、總結

​　　由上可見，元數據不只定義了數據倉庫中數據的模式、來源、抽取和轉換規則等，並且是整個數據倉庫系統運行的基礎，元數據把數據倉庫系統中各個鬆散的組件聯繫起來，組成了一個總體數據倉庫解決方案。

　　本文中若有錯誤或誤導的地方歡迎你們指出糾正。 但願這篇文章可以給你們帶來幫助，最後感謝你們的閱讀。下一篇咱們開始來了解數據質量。

歡迎你們關注個人公衆號：小黎子數據分析，小黎子一個專一於數據分析總體數據倉庫解決方案的程序猿！主要介紹後端數據倉庫和前端可視化方面經常使用的技巧以及做者實際工做中解決問題的方法，只聊本身在項目實施中的收穫。

 

　　聲明：個人博客從此也會受權同步至騰訊雲+社區，但博客園還會繼續保持首發。同時邀請你們一同入駐：https://cloud.tencent.com/developer/support-plan?invite_code=1bu8fxxmuj0y5