數據倉庫系列之關於數據倉庫自動化技術

　　目前市面上的BI工具都在說起敏捷BI解決方案。敏捷BI解決方案所提供的自動化技術支持主要是從數據源取數到BI前端工具展示。這樣的敏捷BI解決方案在企業數據量不是很龐大的狀況下，仍是很好的支撐運行。PowerBI能夠支持大量的數據處理，可是對於硬件設備的要求也是很是高的。可是數據量變得愈來愈龐大就會致使BI報表出現運行緩慢，大屏展示出現數據延遲等等現象。

　　若是項目較小例如上圖中的動態銷售報告，只是爲了展示EXCEL中少許的數據。使用PowerBI工具徹底能夠知足你們的須要。真正要作到敏捷BI總體數倉解決方案，仍是須要在數據源和BI前端工具的中間加入數據倉庫。在數據倉庫中處理數據對於源數據沒有任何侵入性，也不會對源數據系統形成影響。數據倉庫的搭建可能你們用過SSDT工具應該知道，搭建數據倉庫仍是很繁瑣的。搭建數據倉庫仍是須要藉助數據倉庫自動化工具。

　　數據倉庫自動化的工具正變得愈來愈主流，如今他們明顯的好處：

　　一、  快速交付

　　二、  開發成本較低

　　三、  開發週期短對於一個商業智能項目完成，再也不須要等待三至六個月。

　　四、  維護成本低，無需投入大量的技術人員維護

　　市面上已經有的ETL工具具備自動化技術，我在前面的ETL過程和ETL工具介紹已經說起了，這裏就再也不作過多的描述。有一些事情你應該知道，評估來自不一樣供應商的產品的維度。

　　1、有些工具數據倉庫的自動化程度較低。

　　一些數據倉庫自動化工具就存在不可以自動化處理模型，大多數開發商在作示例都是使用一個簡單的星型模式報告。這是一個簡單的數據源，可是當你須要將數據從多個數據源整合，事情就變得複雜了。有些工具帶你經過一個錯綜複雜的過程，升級到數據生成星型模式以前結合。這是否是很自動化。數據倉庫的自動化工具應該能夠處理70%的工做，而不須要額外的數據建模工做或ETL編程。除非客戶存在定製化的需求，再進行建模和編程。

 

　　2、一些工具須要大量的諮詢工做實現結果。

　　問問你的數據倉庫的自動化軟件供應商的這個簡單的問題： 「大家實施BI項目有多少實施顧問，實施須要的週期？」一個健全的實施BI項目的團隊，若是已經作到了工具大部分自動化處理。實際具備成熟自動化技術的供應商，他們更多的是在作客戶報表指標的梳理，適配公司模型庫中的指標數據。更多的工做是在前期的需求調研確認模型階段，實施部署BI項目實際是很是快速的。

　　3、雪花模型和星形模型

　　若是您正計劃創建本身的數據倉庫，那麼你所選擇的數據倉庫自動化工具應該自動執行任何上述的部分或所有。一些數據倉庫的自動化工具仍須要您手動設計目標模型，並用本身的工具來填充它。這不是自動化，你還不如回去使用ETL工具。一個好的數據倉庫自動化工具將自動完成了模型設計和填充它的代碼 。讓你在雪花模型和星型模形之間進行選擇。

　　4、目標數據庫的數據倉庫。

　　許多數據倉庫的自動化工具限制你只是一個目標數據庫平臺，而其餘人將讓你在更多的建立數據倉庫。你可能但願，在將來，移動到不一樣的數據庫平臺（例如，從S​​QL Server到Oracle，或從S​​QL Server到S​​QL Server其餘版本），因此你可能須要一個數據倉庫的自動化工具，它爲您提供了未來的遷移選項。

　　5、調度依賴

　　對於任何數據倉庫項目，須要數據在特定的時間，並在必定的順序進行裝載。例如，當來自多個來源的數據相結合，你可能須要有全部加載以前，首先你能夠開始創建你表中的數據，並且他們必須更新以前，您能夠更新您的星型模型的報告。一個企業級的數據倉庫的自動化工具將瞭解這些依賴關係，自動執行並自動完成全部必要的流程和正確的順序運行它們。

 　　6、數據倉庫自動化工具的功能

 

 

　　數據倉庫自動化工具主要包括系統管理、業務總線管理、維度模型管理、做業管理、應用管理、元數據管理、數據標準管理和行業指標庫等模塊。 我的認爲真正健全軟件應該具有上圖的功能特色或者實現維度建模工具箱中說起的34個子系統。

　　系統管理：這個模塊主要管理各個系統的信息包括源系統信息、數據倉庫系統、做業調度系統、報表瀏覽系統。經過源系統信息能夠自動導入源系統的元數據，爲維度建模和檢查數據結構變化提供數據。

　　業務總線管理：每一個源系統都有多個業務過程，每一個業務過程都會涉及多個維度實體。業務過程和維度實體組成總線結構，統一管理每一個源系統的業務總線。

　　維度模型管理：根據命名規範進行物理模型和映射關係設計，保證命名的統一。能夠自動生成建表腳本，自動在數據倉庫執行腳本。

　　做業管理：根據查詢腳本和程序模板自動生成ETL程序，自動生成做業的依賴關係。保證程序代碼的統一，規範。

　　應用管理：統一管理報表、接口業務元數據信息。

　　數據標準管理：統一管理代碼命名規範、數據類型映射關係、經常使用單詞庫、指標定義、ETL程序模板。

　　元數據管理：在開發的過程當中，會存儲各類元數據信息，能夠根據這些元數據進行代碼規範檢查、數據影響分析、數據異常監控。

　　項目文檔管理：能夠在BI項目實施時進行自動生成數據處理過程的備註信息，能夠詳細描述知道字段的轉換，抽取規則等等

　　行業指標庫：經過公司積累的行業數據指標進行適配客戶數據，實現低成本敏捷交付BI項目。

　　7、總結

　　ETL工具引入了不少時間的延誤和風險到您的商業智能項目。更糟的是，他們期待您的業務用戶可以學習掌握數據倉庫中的表和字段，真正業務用戶時不理解數據倉庫的，因此不可避免的變化將要花費很長的時間來解決。真正可讓業務用戶理解的只有業務術語，利用語義模型纔是解決該類問題的最好方法。你能用敏捷的ETL工具，來完成模型的設計。若是您估計傳統的數據倉庫項目，須要半年，一樣的項目在具備良好和高度配置化的數據倉庫自動化工具來完成只須要幾個星期處理好。時間對於任何公司和個體都是十分重要的，因此選型數據倉庫工具也是須要很是謹慎當心。