OLTP定義
這樣作的最大優勢是能夠即時地處理輸入的數據,及時地回答。也稱爲
實時系統(Real time System)。衡量聯機事務處理結果的一個重要指標是系統性能,具體體現爲
實時請求-響應時間(Response Time),即用戶在終端上輸入數據以後,到計算機對這個請求給出答覆所須要的時間。OLTP是由
前臺、應用、數據庫共同完成的,處理快慢以及處理程度取決於
數據庫引擎、服務器、應用引擎。
OLTP 數據庫旨在使
事務應用程序僅寫入所需的數據,以便儘快處理單個事務。
OLTP特徵
支持
大量併發用戶按期添加和修改數據。
反映
隨時變化的單位狀態,但不保存其歷史記錄。
包含
大量數據,其中包括用於驗證事務的大量數據。
結構複雜。
提供用於支持單位平常運營的技術基礎結構。
個別
事務可以很快地完成,而且只需訪問相對較少的數據。
OLTP 旨在處理同時輸入的成百上千的事務。
實時性要求高。
數據量不是很大。
交易通常是肯定的,因此OLTP是對肯定性的數據進行存取。(好比存取款都有一個特定的金額)
併發性要求高而且嚴格的要求事務的完整、安全性。(好比這種狀況:有可能你和你的家人同時在不一樣的銀行取同一個賬號的款)。
應用領域
OLTP 系統中的數據主要被組織爲支持以下
事務:
記錄來自銷售點終端或經過網站輸入的訂單。
當庫存量降到指定級別時,訂購更多的貨物。
在製造廠中將零部件組裝爲成品時對零部件進行跟蹤。
記錄僱員數據。
當今的數據處理大體能夠分紅兩大類:
聯機事務處理OLTP(on-line transaction processing)、
聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型數據庫的主要應用,主要是基本的、平常的事務處理,例如銀行交易。OLAP是
數據倉庫系統的主要應用,支持複雜的分析操做,側重決策支持,而且提供直觀易懂的查詢結果。
與大數據
事務系統包含
巨量數據的更新,是業務延續性的重中之重,並提供對重要數據的近實時訪問,包括讓企業更有競爭力的數據。
聯機事務處理分析範圍擴展到近實時數據,尤爲是客戶數據 ;提供近乎實時的虛擬數據倉庫;對主數據管理的負載均衡更新,增長企業信息化架構的靈活性。
要在這些新任務上成功應用OLTP,就必須從新定義OLTP在企業信息化體系結構中的地位。OLTP再也不只是一套能處理訂單的老式應用程序。對典型的OLTP系統處理的大規模數據流更新進行同時分析,這種狀況很罕見,由於通常認爲這不是OLTP的目的。然而數據倉庫更新固有的延遲阻礙着對最新數據的近實時分析。組織若是要對於數據的變化迅速做出反應,IT部門就必須讓OLTP產生比以往更大的做用。
設計注意事項
事務處理系統數據庫應設計爲支持:
1.很好的數據放置。
對於 OLTP 系統,輸入/輸出瓶頸是一個尤其關心的問題,緣由在於修改整個數據庫中數據的用戶不少。肯定數據的可能訪問模式,並將常常訪問的數據放在一塊兒。在此過程當中,可輔以文件組和 RAID(獨立磁盤冗餘陣列)系統。
2.縮短事務以將長期鎖減至最少,提升併發性。
在事務期間,避免用戶交互。不管什麼時候,只要有可能,就經過執行單個存儲過程來處理整個事務。在事務內對錶的引用順序可能會影響併發性。將對常常訪問的表的引用置於事務的末尾,以便將控制鎖的持續時間減至最短。
3.聯機備份。
OLTP 系統一般的特徵是連續操做(一天 24 小時,一週 7 天),爲達到此目的,停工時間要保持絕對最短。儘管 Microsoft SQL Server 2000 能夠在數據庫正在使用時對其進行備份,可是應將備份過程安排在活動不頻繁時進行,以使對用戶的影響減至最小。
4.數據庫的高度規範化。
儘量減小冗餘信息以提升更新的速度,從而提升併發性。減小數據還能夠提升備份的速度,由於只須要備份更少的數據。
5.不多或沒有歷史或聚合數據。
能夠將不多引用的數據歸檔到單獨的數據庫中,或者從常常更新的表中移出,並置於僅含歷史數據的表中。這將保持表儘量地小,從而縮短備份時間,改善查詢性能。
6.當心使用索引。
每次添加或修改行時,必須更新索引。若要避免對常常更新的表進行過多的索引,索引範圍應保持較窄。請用索引優化嚮導設計索引。
什麼是OLAP
聯機分析處理 (OLAP) 的概念最先是由關係數據庫之父E.F.Codd於1993年提出的,他同時提出了關於OLAP的12條準則。OLAP的提出引發了很大的反響,OLAP做爲一類產品同聯機事務處理(OLTP) 明顯區分開來。
下面是對OLAP的概念及其分析方法、分析模型的具體描述:
OLAP是使分析人員、管理人員或執行人員可以從多角度對信息進行快速、一致、交互地存取,從而得到對數據的更深刻了解的一類軟件技術。OLAP的目標是知足決策支持或者知足在多維環境下特定的查詢和報表需求,它的技術核心是"維"這個概念。
「維」是人們觀察客觀世界的角度,是一種高層次的類型劃分。「維」通常包含着層次關係,這種層次關係有時會至關複雜。經過把一個實體的多項重要的屬性定義爲多個維(dimension),使用戶能對不一樣維上的數據進行比較。所以OLAP也能夠說是多維數據分析工具的集合。
OLAP的基本多維分析操做有鑽取(roll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(pivot)、drill across、drill through等。
·鑽取是改變維的層次,變換分析的粒度。它包括向上鑽取(roll up)和向下鑽取(drill down)。roll up是在某一維上將低層次的細節數據歸納到高層次的彙總數據,或者減小維數;而drill down則相反,它從彙總數據深刻到細節數據進行觀察或增長新維。
·切片和切塊是在一部分維上選定值後,關心度量數據在剩餘維上的分佈。若是剩餘的維只有兩個,則是切片;若是有三個,則是切塊。
·旋轉是變換維的方向,即在表格中從新安排維的放置(例如行列互換)。
OLAP有多種實現方法,根據存儲數據的方式不一樣能夠分爲ROLAP、MOLAP、HOLAP。
ROLAP表示基於關係數據庫的OLAP實現(Relational OLAP)。以關係數據庫爲核心,以關係型結構進行多維數據的表示和存儲。ROLAP將多維數據庫的多維結構劃分爲兩類表:一類是事實表,用來存儲數據和維關鍵字;另外一類是維表,即對每一個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表經過主關鍵字和外關鍵字聯繫在一塊兒,造成了"星型模式"。對於層次複雜的維,爲避免冗餘數據佔用過大的存儲空間,可使用多個表來描述,這種星型模式的擴展稱爲"雪花模式"。
MOLAP表示基於多維數據組織的OLAP實現(Multidimensional OLAP)。以多維數據組織方式爲核心,也就是說,MOLAP使用多維數組存儲數據。多維數據在存儲中將造成"立方塊(Cube)"的結構,在MOLAP中對"立方塊"的"旋轉"、"切塊"、"切片"是產生多維數據報表的主要技術。
HOLAP表示基於混合數據組織的OLAP實現(Hybrid OLAP)。如低層是關係型的,高層是多維矩陣型的。這種方式具備更好的靈活性。
還有其餘的一些實現OLAP的方法,如提供一個專用的SQL Server,對某些存儲模式(如星型、雪片型)提供對SQL查詢的特殊支持。
OLAP工具是針對特定問題的聯機數據訪問與分析。它經過多維的方式對數據進行分析、查詢和報表。維是人們觀察數據的特定角度。例如,一個企業在考慮產品的銷售狀況時,一般從時間、地區和產品的不一樣角度來深刻觀察產品的銷售狀況。這裏的時間、地區和產品就是維。而這些維的不一樣組合和所考察的度量指標構成的多維數組則是OLAP分析的基礎,可形式化表示爲(維1,維2,……,維n,度量指標),如(地區、時間、產品、銷售額)。多維分析是指對以多維形式組織起來的數據採起切片(Slice)、切塊(Dice)、鑽取(Drill-down和Roll-up)、旋轉(Pivot)等各類分析動做,以求剖析數據,使用戶能從多個角度、多側面地觀察數據庫中的數據,從而深刻理解包含在數據中的信息。
根據綜合性數據的組織方式的不一樣,常見的OLAP主要有基於多維數據庫的MOLAP及基於關係數據庫的ROLAP兩種。MOLAP是以多維的方式組織和存儲數據,ROLAP則利用現有的關係數據庫技術來模擬多維數據。在數據倉庫應用中,OLAP應用通常是數據倉庫應用的前端工具,同時OLAP工具還能夠同數據挖掘工具、統計分析工具配合使用,加強決策分析功能。
二者區別
|
OLTP
|
OLAP
|
用戶
|
操做人員,低層管理人員
|
決策人員,高級管理人員
|
功能
|
平常操做處理
|
分析決策
|
DB 設計
|
面向應用
|
面向主題
|
數據
|
當前的, 最新的細節的, 二維的分立的
|
歷史的, 彙集的, 多維的集成的, 統一的
|
存取
|
讀/寫數
十條記錄
|
讀上百萬條記錄
|
工做單位
|
簡單的事務
|
複雜的查詢
|
用戶數
|
上千個
|
上百萬個
|
DB 大小
|
100MB-GB
|
100GB-TB
|
時間要求
|
具備實時性
|
對時間的要求不嚴格
|
主要應用
|
數據庫
|
數據倉庫
|