第三節:數據倉庫與ODS

1：ods產生背景
 人們對數據的處理行爲能夠劃分爲操做型數據處理和分析型數據處理，操做型數據處理通常放在傳統的數據庫中進行，分析型數據
 處理則須要放在數據倉庫中進行。但不是全部的數據處理均可以這樣劃分，換句話說，人們對數據的處理需求並不僅有這兩類，比
 如，有些操做型處理並不適合放在傳統的數據庫上完成，也有些分析型處理不適合在數據倉庫中進行。這時候就須要第三種數據存
 儲體系，操做數據存儲（ODS）系統就所以產生。它的出現將DB~DW兩層數據架構轉變成DB~ODS~DW三層數據架構。
     什麼是ODS？
 ODS是用於支持企業平常的，全局應用的數據集合。
2：ODS數據的基本特徵
 a：面向主題的，進入ODS的數據是來源於各個操做型數據庫以及其餘外部數據源，數據進入ODS以前必須通過ETL過程
 b：集成的，ods的數據來源於各個操做型數據庫，同時也會在數據清理加工後進行必定程度的綜合。
 c：可更新的，能夠聯機修改，這一點區別於數據倉庫
 d：當前或接近當前，「當前」指數據在存取時刻是最新的，「接近當前」是指存取的數據是最近一段時間獲得的。
3：ODS的功能
 1）：實現企業級的olap操做
 傳統的操做型數據庫每每只存放企業某一類業務或者某一個部門的數據，所以沒法面向企業全局數據的OLAP，而ODS能夠實現，
 由於ODS是面向整個企業進行集成彙總的，克服了原來面向應用的操做型數據庫數據分散的缺陷。
 2）：實現即時的olap操做
 在數據倉庫上進行OLAP操做，每每因爲數據量龐大而須要較長的時間，而在企業實際應用中，對於一些較低層次的決策，每每並
 不須要太多的歷史數據，可能只須要參考當前的或者接近當前的數據就能夠，而且要求具備較快的響應時間，所以數據倉庫顯然沒法
 知足這樣的需求，可是ODS能夠實現。ODS中不只有面向企業全局的細節數據和彙總數據，並且規模比數據倉庫小，具備較強的
 實時響應能力。
 總結：ODS是一種數據存儲系統，它未來自不一樣數據源的數據（各類操做型數據庫，外部數據源等）經過ETL過程匯聚整合成面向
 主題的，集成的，企業全局的，一致的數據集合（主要是最新的或者最近的細節數據以及可能須要的彙總數據），用於知足企業
 準實時的OLAP操做和企業全局的OLAP操做，併爲數據倉庫提供集成後的數據，將數據倉庫系統中的ETL過程下沉到ODS中完成
 以減輕數據倉庫的壓力。
4：DB~ODS~DW三層體系結構
 ODS和DW面向不一樣的用戶，爲不一樣的需求，所以都有不可替代的做用，二者相互結合，互相補充。
 ODS在三層體系結構中扮演者承上啓下的做用
 一方面，ODS在原來獨立的各個DB的基礎上創建了一個一致的，企業全局的，面向主題的數據環境，使原有的DB系統獲得改造。
 另外一方面，ODS使DW卸去了數據集成，結構轉換等一系列負擔，對DW的數據追加經過ODS完成，大大簡化了DW的數據傳輸接
 口和DW管理數據的複雜度。
 ODS系統建設，彌補了DB~DW兩層體系結構的不足，可是ODS並非必須的，當企業不須要操做型集成信息時，基於DB~DW
 的兩層體系結構是較優秀的，若是須要，則DB~ODS~DW三層體系結構則是比較優秀的。
5：ODS與DW的區別

 ODS在三層體系結構中起到承上啓下的做用。
 ODS的數據雖然具備DW中數據的面向主題，集成的特色，可是也有不少區別。
 1：存放數據的內容不一樣
 ODS中主要存放當前或者接近當前的數據，細節數據，能夠進行聯機更新
 DW中主要存放細節數據和歷史數據，以及各類程度的綜合數據，不能進行聯機更新。
 ODS中也能夠存放綜合數據，但只有須要的時候生成。
 2：數據規模不一樣
 因爲存放的數據內容不一樣，所以DW的數據規模遠遠超過ODS
 3：技術支持不一樣
 ODS須要支持面向記錄的聯機更新，並隨時保證其數據與數據源中的數據一致。
 DW則須要支持ETL技術和數據快速存取技術。
 4：面向的需求不一樣
 ODS只要面向兩個需求：一是用於知足企業進行全局應用的須要，即企業級的olap和即時的olap；二是向數據倉庫
 提供一致的數據環境用於數據抽取。
 DW主要用於企業高層戰略決策，供挖掘分析使用。
 5：使用者不一樣
 ODS主要使用者是企業中層管理人員，他們使用ods進行企業平常管理和控制。
 DW主要使用者是企業高層和分析人員。