大數據基礎篇(一)：聯機分析處理(OLAP) 與 聯機事務處理(OLTP)

聯機事務處理(OLTP)

OLTP也稱實時系統(Real Time System)，支持事務快速響應和大併發，這類系統典型的有ATM機(Automated Teller Machine)系統、自動售票系統等，但有些銀行轉帳並非實時到帳的。OLTP反映企業當前的運行狀態，完成企業管理所包含的平常任務的數據庫應用，通常沒有複雜的查詢和分析處理。

 

聯機分析處理(OLAP)

OLAP也稱決策支持系統(Decision Support System，DSS)，是數據倉庫系統的主要應用形式，使分析人員、管理人員或執行人員可以從多種角度對從原始數據中轉化出來的、可以真正爲用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取，從而得到對數據的更深刻了解的一類軟件技術。

基於數據倉庫的決策支持系統一般由數據倉庫、聯機分析處理和數據挖掘三個部分組成，其中數據倉庫是系統的核心。

OLAP的目標是知足決策支持或多維環境特定的查詢和報表需求，它的技術核心概念是維(觀察數據的特定角度，如時間維)，所以OLAP也能夠說是多維數據分析工具的集合。

OLAP系統按照數據存儲格式能夠分爲Relational OLAP(ROLAP）、Multidimensional OLAP(MOLAP）和Hybrid OLAP(HOLAP）三種類型。ROLAP基本數據和聚合數據均存放在RDBMS之中；MOLAP基本數據和聚合數據均存放於多維數據庫中；HOLAP基本數據存放於RDBMS之中，聚合數據存放於多維數據庫中。

E.F.Codd提出12條準則來描述OLAP系統：

準則1 OLAP模型必須提供多維概念視圖　　
準則2 透明性準則 　　
準則3 存取能力推測 　　
準則4 穩定的報表能力 　　
準則5 客戶/服務器體系結構 　　
準則6 維的等同性準則 　　
準則7 動態的稀疏矩陣處理準則 　　
準則8 多用戶支持能力準則 　　
準則9 非受限的跨維操做 　　
準則10 直觀的數據操縱 　　
準則11 靈活的報表生成 　　
準則12 不受限的維與彙集層次

　 

多維數據庫(Multi Dimensional Database，MDD)

數據存放在一個n維數組中，而非關係數據庫以記錄形式存放，屬後關係型數據庫，主要特徵是將多維處理和麪向對象技術結合到關係數據庫上。它存在大量稀疏矩陣，能夠經過多維視圖來觀察數據。多維存儲基本形式如：（2000年1月，上海，筆記本電腦，#0000）。

 

數據集市(Datamarts)

爲了特定的應用目的或應用範圍，而從數據倉庫中獨立出來的一部分數據，也可稱爲部門數據或主題數據（Subjectarea）。在數據倉庫的實施過程當中每每能夠從一個部門的數據集市着手，之後再用幾個數據集市組成一個完整的數據倉庫。須要注意的就是在實施不一樣的數據集市時，同一含義的字段定義必定要相容，這樣在之後實施數據倉庫時纔不會形成大麻煩。

 

數據倉庫(Data Warehouse，DW)

是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的海量數據集合(包括大量冗餘數據)，用以支持經營管理中的決策制定過程，核心是海量數據存放和海量數據檢索。相對於操縱型數據庫來講其突出的特色是對海量數據的支持和快速的檢索技術。爲了實現決策支持型數據處理與事務型數據處理的分離，它按照必定的週期將事務型數據轉換導入決策支持數據庫中。數據倉庫系統是一個信息提供平臺，他從業務處理系統得到數據，主要以星型模型和雪花模型進行數據組織，爲用戶提供各類手段從中獲取信息和知識。數據倉庫按照數據的覆蓋範圍能夠分爲企業級數據倉庫和部門級數據倉庫（一般稱爲數據集市）。從功能結構劃分，數據倉庫系統至少應該包含數據獲取（Data Acquisition）、數據存儲（Data Storage）、數據訪問（Data Access）三個關鍵部分。

 

ETL(Extraction-Transformation-Loading)

負責將分佈的、異構數據源中的數據如關係數據、平面數據(去除了全部特定應用格式，能夠遷移到其餘應用上進行處理的一類數據，好比逗號分隔數據)文件等抽取到臨時中間層後進行清洗、轉換、集成，最後加載到數據倉庫或數據集市中，成爲聯機分析處理、數據挖掘的基礎，是BI(Business Intelligence)/DW的核心和靈魂，是數據倉庫中的很是重要的一環。數據倉庫是一個獨立的數據環境，須要經過抽取過程將數據從聯機事務處理環境、外部數據源或者脫機的數據存儲介質導入到數據倉庫中；在技術上，ETL主要涉及到關聯、轉換、增量、調度和監控等幾個方面；數據倉庫系統中數據不要求與聯機事務處理系統中數據實時同步，因此ETL能夠定時進行。在數據倉庫建設中最難部分是用戶需求分析和模型設計，而ETL規則設計和實施則是工做量最大的，約佔整個項目的60%～80%。