數據倉庫概述

數據倉庫,英文名稱爲Data Warehouse,可簡寫爲DW或DWH。
數據倉庫,是爲企業全部級別的決策制定過程,提供全部類型數據支持的戰略集合。它是單個數據存儲,出於分析性報告和決策支持目的而建立。
爲須要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。sql


數據倉庫 ,由數據倉庫之父比爾·恩門(BillInmon)於1990年提出,
主要功能還是將組織透過資訊系統之聯機事務處理(OLTP)經年累月所累積的大量資料,透過數據倉庫理論所特有的資料儲存架構,做一有系統的分析整理,以利各類分析方法如聯機分析處理(OLAP)、數據挖掘(Data Mining)之進行,
並進而支持如決策支持系統(DSS)、主管資訊系統(EIS)之建立,幫助決策者能快速有效的自大量資料中,分析出有價值的資訊,以利決策擬定及快速回應外在環境變更,幫助建構商業智能(BI)。數據庫

數據倉庫特色:數據處理,屏蔽源系統和應用的變動

  1. 面向主題的
  2. 集成的。 數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上通過系統加工、彙總和整理獲得的,必須消除源數據中的不一致性,以保證數據倉庫內的信息是關於整個企業的一致的全局信息。
  3. 相對穩定的
  4. 反應歷史變化的---不作刪除和修改

ODS (操做數據存儲)

操做數據存儲ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分
具有以下特色:架構

1.面向主題的
2.集成的
3.當前或接近當前的
4.不斷變化的工具

三範式建模:分層,大寬表,拉鍊,能夠left join
星型結構建模:面向集市的,將事實和維度拆開,構成維度事實表。單元測試

建模流程:
CDM(概念模型)-->LDM(邏輯模型)-->PDM(物理模型)測試

單元測試:根據源系統邏輯,手動編寫sql,和集市或者彙總層的數據進行對比。其實單元測試並不難,只是須要與業務知識取數邏輯相結合。經常使用的sql就是 distinct,group by,order by。
另外在測試過程當中須要進行sql優化,提升效率優化

調度工具:做業流管理,做業調度,做業監控事務

數據建模方法:
維度建模
三範式建模get

參考資料:

  1. 數據倉庫
相關文章
相關標籤/搜索