數據倉庫,英文名稱爲Data Warehouse,可簡寫爲DW或DWH。
數據倉庫,是爲企業全部級別的決策制定過程,提供全部類型數據支持的戰略集合。它是單個數據存儲,出於分析性報告和決策支持目的而建立。
爲須要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。sql
數據倉庫 ,由數據倉庫之父比爾·恩門(BillInmon)於1990年提出,
主要功能還是將組織透過資訊系統之聯機事務處理(OLTP)經年累月所累積的大量資料,透過數據倉庫理論所特有的資料儲存架構,做一有系統的分析整理,以利各類分析方法如聯機分析處理(OLAP)、數據挖掘(Data Mining)之進行,
並進而支持如決策支持系統(DSS)、主管資訊系統(EIS)之建立,幫助決策者能快速有效的自大量資料中,分析出有價值的資訊,以利決策擬定及快速回應外在環境變更,幫助建構商業智能(BI)。數據庫
操做數據存儲ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分
具有以下特色:架構
1.面向主題的
2.集成的
3.當前或接近當前的
4.不斷變化的工具
三範式建模:分層,大寬表,拉鍊,能夠left join
星型結構建模:面向集市的,將事實和維度拆開,構成維度事實表。單元測試
建模流程:
CDM(概念模型)-->LDM(邏輯模型)-->PDM(物理模型)測試
單元測試:根據源系統邏輯,手動編寫sql,和集市或者彙總層的數據進行對比。其實單元測試並不難,只是須要與業務知識取數邏輯相結合。經常使用的sql就是 distinct,group by,order by。
另外在測試過程當中須要進行sql優化,提升效率優化
調度工具:做業流管理,做業調度,做業監控事務
數據建模方法:
維度建模
三範式建模get