在 IBM Bluemix 雲平臺上開發並部署您的下一個應用。app
前言
企業主數據是用來描述企業核心業務實體的數據，好比客戶、合做夥伴、員工、產品、物料單、帳戶等；它是具備高業務價值的、能夠在企業內跨越各個業務部門被重複使用的數據，而且存在於多個異構的應用系統中。本文將針對主數據管理的概念以及主數據管理解決方案的實施等方面跟你們做一個探討。ide
回頁首工具
主數據和主數據管理的概念
企業主數據能夠包括不少方面，除了常見的客戶主數據以外，不一樣行業的客戶還可能擁有其餘各類類型的主數據，例如：對於電信行業客戶而言，電信運營商提供的各類服務能夠造成其產品主數據；對於航空業客戶而言，航線、航班是其企業主數據的一種。對於某一個企業的不一樣業務部門，其主數據也不一樣，例如市場銷售部門關心客戶信息，產品研發部門關心產品編號、產品分類等產品信息，人事部門關心員工機構，部門層次關係等信息。網站
數據管理的範疇和主數據管理的概念
圖 1. 數據管理的範疇
如圖所示，企業數據管理的內容及範疇一般包括交易數據、主數據以及元數據。url
- 交易數據： 用於紀錄業務事件，如客戶的訂單，投訴記錄，客服申請等，它每每用於描述在某一個時間點上業務系統發生的行爲。
- 主數據：主數據則定義企業核心業務對象，如客戶、產品、地址等，與交易流水信息不一樣，主數據一旦被記錄到數據庫中，須要常常對其進行維護，從而確保其時效性和準確性；主數據還包括關係數據，用以描述主數據之間的關係，如客戶與產品的關係、產品與地域的關係、客戶與客戶的關係、產品與產品的關係等。
- 元數據： 即關於數據的數據，用以描述數據類型、數據定義、約束、數據關係、數據所處的系統等信息。
主數據管理是指一整套的用於生成和維護企業主數據的規範、技術和方案，以保證主數據的完整性、一致性和準確性 ( 「 The set of disciplines, technologies, and solutions used to create and maintain consistent, complete, contextual and accurate business data for all stakeholders (users, applications, data warehouses, processes, companies, trading partners, customers, etc.) across and beyond the enterprise 」 ) 。主數據管理的典型應用有 Customer Data Integration —客戶數據管理和 Product Information Integraiton —產品數據管理。
圖 2. 主數據管理的信息流
通常來講，主數據管理系統從 IT 建設的角度而言都會是一個相對複雜的系統，它每每會和企業數據倉庫 / 決策支持系統以及企業內的各個業務系統發生關係，技術實現上也會涉及到 ETL、EAI、EII 等多個方面，如圖 2 所示，一個典型的主數據管理的信息流爲：
- 某個業務系統觸發對企業主數據的改動；
- 主數據管理系統將整合以後完整、準確的主數據分發給全部有關的應用系統；
- 主數據管理系統爲決策支持和數據倉庫系統提供準確的數據源。
所以對於主數據管理系統的建設，要從建設初期就考慮總體的平臺框架和技術實現。
以客戶主數據爲例，常見的主數據域包括：
- Party：參與方。參與方包含的範圍是全部與企業發生了或者發生過正式業務關係的任何合法的實體，好比填寫了投保單的參與方。 Party 是分類別的，能夠是我的、機構和團體。對於 Party 來講，由於開展業務的須要，可能要對他們進行分級、分類，好比 VIP，黑名單等。我的包括我的基本屬性、我的名稱、職業、性別、教育等天然屬性；機構是指在法律上有登記的組織實體，能夠分爲政府機構、商業機構、非盈利機構等類別；團體能夠有多種形態，好比他們能夠是家庭、興趣小組、某個大機構中的一部分，或者經過某種數據分析技術得出的客戶細分羣體。
- Party Role：參與方在業務中扮演的角色。例如，對於保險行業而言，能夠有：投保人，被保人，受益人，擔保人，報案人，覈保人，查勘員，核賠人等。
- Relationship：Party 與 Party 之間的關係 , 例如能夠是：夫妻關係、父子關係、母女關係、兄弟姐妹關係、總 ( 母 ) 公司分 ( 子 ) 公司關係、企業事業單位隸屬、上下級關係等。
- Account：賬戶是客戶使用企業服務的付費實體。
- Location：Location 記錄的是每一個 Party 可能擁有的全部聯繫地址，地址的類別包括郵寄地址、email 地址、電信聯絡地址等。
- Contract：Party 與企業之間的契約。
主數據有幾個鮮明的特色，其中包括：它是準確的、集成的，其次它是跨業務部門的，再有就是它是在各個業務部門被重複使用的。
主數據管理的意義
圖 3. 主數據管理的要素
如圖 3 所示：集成、共享、數據質量、數據治理是主數據管理的四大要素，主數據管理要作的就是從企業的多個業務系統中整合最核心的、最須要共享的數據（主數據），集中進行數據的清洗和豐富，而且以服務的方式把統一的、完整的、準確的、具備權威性的主數據分發給全企業範圍內須要使用這些數據的操做型應用和分析型應用，包括各個業務系統、業務流程和決策支持系統等。
主數據管理使得企業可以集中化管理數據，在分散的系統間保證主數據的一致性，改進數據合規性、快速部署新應用、充分了解客戶、加速推出新產品的速度。從 IT 建設的角度，主數據管理能夠加強 IT 結構的靈活性，構建覆蓋整個企業範圍內的數據管理基礎和相應規範，而且更靈活地適應企業業務需求的變化。
以客戶主數據爲例，客戶主數據是目前企業級客戶廣泛面臨的一個問題，在大多數企業中，客戶信息一般分散於 CRM 等各個業務系統中，而每一個業務系統中都只有客戶信息的片段，即不完整的客戶信息，但卻缺少企業級的完整、統一的單一客戶視圖，結果致使企業不能徹底瞭解客戶，沒法協調統一的市場行爲，致使客戶滿意度降低，市場份額減小。所以，創建客戶主數據系統的目的在於：
- 整合並存儲全部業務系統和渠道的客戶及潛在客戶的信息：一方面從相關係統中抽取客戶信息，並完成客戶信息的清洗和整合工做，創建企業級的客戶統一視圖；另外一方面，客戶主數據管理系統將造成的統一客戶信息以廣播的形式同步到其餘各個系統，從而確保客戶信息的一致；
- 爲相關的應用系統提供聯機交易支持，提供客戶信息的惟一訪問入口點，爲全部應用系統提供及時和全面的客戶信息；服務於 OCRM 系統，充分利用數據的價值，在全部客戶接觸點上提供更多具備附加價值的服務；
- 實現 SOA 的體系結構：創建客戶主數據系統以前，數據被鎖定在每個應用系統和流程中，創建主數據管理系統以後，數據從應用系統中被釋放出來，而且被處理成爲一組可重用的服務，被各個應用系統調用。
主數據管理系統與數據倉庫系統的關係
主數據管理系統與數據倉庫系統是相輔相成的兩個系統，但兩者毫不是重複的，也不是互斥的。它們有不少共同之處：
- 首先兩者對企業都具備相同的價值，能夠減小數據冗餘和不一致性、提高對數據的洞察力，兩者都是跨部門的集中式系統；
- 其次兩者都依賴不少相同的技術手段，都會涉及到 ETL 技術、都須要元數據管理、都強調數據質量；
- 第三就是兩者建設手段相似，都須要數據治理的規範做爲指導、都須要不一樣系統、不一樣部門的協做、須要統一的安全策略。
可是，主數據管理系統和數據倉庫 / 決策支持系統兩者之間也存在不少不一樣：
- 處理類型不一樣：主數據管理 (MDM) 系統是偏交易型的系統，它爲各個業務系統提供聯機交易服務，系統的服務對象是呼叫中心、B2C、CRM 等業務系統；而數據倉庫是屬於分析型的系統，面向的是分析型的應用，是在大量歷史交易數據的基礎上進行多維分析，系統的使用對象是各層領導和業務分析、市場銷售預測人員等；
- 實時性不一樣：與傳統的數據倉庫方案的批量 ETL 方式不一樣，主數據管理系統在數據初始加載階段要使用 ETL，但在後續運行中要大量依賴實時整合的方式來進行主數據的集成和同步；
- 數據量不一樣：數據倉庫存儲的是大量的歷史數據和各個維度的彙總數據，可能會是海量的，而 MDM 存儲的僅僅是客戶和產品等信息。
雖然主數據管理系統和數據倉庫系統異同共存，可是兩者卻有着緊密的聯繫，而且能夠互爲促進、互爲補充。舉例而言，數據倉庫系統的分析結果能夠做爲衍生數據輸入到 MDM 系統，從而使 MDM 系統可以更好地爲操做型 CRM 系統服務。以航空公司爲例，客戶的主數據模型大體能夠分爲三部分：
首先包括客戶基本信息和偏好信息。
- 客戶基本信息：
- 我的及公司信息
- 消費者市場情況
- 常旅客會員卡號，狀態，及累計里程等
- 客戶間關係 ( 個體 - 個體，個體 - 公司 )
- 聯繫地址，包括電話，電子郵件等
- 客戶偏好信息：
- 餐食偏好
- 是否吸菸
- 座位偏好
- 機型偏好
- 公務艙位偏好
- 旅行艙位偏好
- 休息室服務偏好
除了這兩部分以外，咱們還能夠從數據倉庫系統中提取相關的信息，做爲客戶主數據的衍生信息部分，從而更好地、全方位地描述客戶特徵，這些能夠包括：
- 衍生信息：
- 本月飛行里程
- 年度飛行里程（最近 12 個月內）
- 提早預訂傾向
- 習慣預訂模式
- 使用自主服務傾向
- 上次預訂使用的信用卡號
- 累計 / 本月轉籤 / 取消航班次數
- 轉籤航班傾向
- 取消航班傾向
- No Show 傾向等。
主數據管理系統和 ODS 的關係
在某些狀況下，主數據管理系統和 ODS 系統可能容易被混淆，的確，從實時上來看，主數據管理系統和 ODS 系統存儲的都是實時數據，可是兩者存儲的數據內容是全然不一樣的，主數據管理系統中不存儲交易數據，好比銀行客戶的交易流水信息是不該該放在主數據管理系統中進行管理的，這與 MDM 與 ODS 的一個很大區別。舉一個航空公司的例子，好比某個客戶在電子商務網站上定了一張機票，產生一個訂單，而後他又經過呼叫中心要求改簽，這個場景中，兩個系統之間要實現客戶信息和訂單信息的共享，其中客戶信息共享經過 MDM 系統來實現，而訂單信息則須要採用 ODS 或其它手段進行共享，咱們是不推薦把此類信息交由 MDM 系統來管理的。
主數據管理解決方案介紹
目前業界比較常見的主數據管理解決方案主要能夠分爲三類：
- 第一是依託專業套裝軟件來實現主數據管理，這類方案是做爲套裝軟件的一部分，主要是爲套裝軟件的其它模塊提供服務的，所以，一般功能都缺少完善性。
- 還有一類是側重於分析型應用的主數據管理，這類方案在數據實時同步以及面向交易型應用時一般缺少總體方案的完整性。
- 再有一類就是專一於主數據管理的中立的、完整的解決方案，這一類應用獨立於套裝軟件，不只具備總體架構的完整性和先進性，從功能上講每每也最爲完善，除了具備比較完整的數據模型 (Data Model) 以外，還會提供普遍的集成性，具有先進的機制實現數據同步，而且能夠對外提供多種預置的主數據服務被外部交易系統調用，從而使系統具備很強的實時操做性，同時還強調主數據管理、主數據質量控制以及主數據維護的手段和規範性。
企業主數據管理系統邏輯架構
一個完整的主數據管理解決方案的邏輯架構應以下圖所示：
圖 4. 主數據管理系統邏輯架構
在一個完整的主數據管理解決方案中，除了主數據管理的核心服務組件以外一般還會涉及到企業元數據管理、企業信息集成、ETL、數據分析和數據倉庫以及 EAI/ESB 等其餘各類技術和服務組件。
其中主數據管理服務又包括以下一些主要的服務組件：
- Interface Services：爲企業中須要主數據的全部業務系統提供各類服務接口，經過實時的、批量的接口能夠讀取或者修改主數據，這些接口包括 Batch, Web Services, XML Interface, Messaging Interface, Publish/Subscribe, Import/Export Services, Data Standardization Interface, Directory Integration 等。除了這些標準的技術接口以外 , 對於某些專有系統還提供適配器 (Adapter) 接口 , 經過適配器接口能夠和一些特有的系統作接口，例如企業中的傳統 (Legacy) 應用系統或者 SAP 等打包應用。
- Lifecycle Management Services: 履行鍼對主數據的 CRUD 操做，執行對主數據存儲庫中的數據進行更新、存取和管理時的業務邏輯，除此以外，它還負責維護主數據的衍生信息，例如客戶之間的關係、客戶的偏好、客戶在各類客戶服務渠道上的行爲軌跡等。 Lifecycle Management Services 貫穿整個主數據管理的生命週期，它利用 Data Quality Management Services 來確保數據質量、利用 Master Data Event Management Services 來捕獲各類主數據變化等相關的事件，以及利用 Hierarchy and Relationship Management Services 用來維護數據實體之間的關係和層次。
- Data Quality Management Services：確保主數據的質量和標準化，這在主數據管理解決方案中一個很是重要的組件，在咱們從各個業務系統獲取數據以後，要對數據進行清洗和驗證，例如對於地址而言，要彌補地址的缺失、地市的缺失、郵編的缺失、進行地址的標準化等。對於其餘數據要進行非空檢查、外鍵檢查、數據過濾等。而後要對數據進行匹配 / 重複識別、自動進行基於規則的合併 / 去重、交叉驗證等，而且還要聽從企業的數據管控規範和流程。它能夠是 Master Data Management Services 的一個內部組件，也能夠調用整個企業的 Information Integrity Services 來實現。
- Authoring Services：依據數據管控流程，定義和擴展企業的主數據模型。
- Hierarchy Relationship and Management Services：定義數據實體的層次 (Hierarchy), 分組 (Grouping), 關係 (Relationship), 版本 (Version) 等。
- Master Data Event Management Services：捕獲事件而且觸發相應的操做，包括事件發現、事件管理和通知功能，它在主數據管理系統和業務系統之間進行數據同步時起到相當重要的做用。
- Base Services：提供通用服務，包括安全控制、錯誤處理、交易日誌、事件日誌等功能。
- Master Data Repository:主數據存儲庫，包括 Metadata, Master Data, History Data, Reference Data 等。
下面咱們介紹兩個這些邏輯組件之間的協做場景：
圖 5. 場景 1-- 初始數據加載
場景 1：初始數據加載：
- 源數據從外部業務系統及 EDW 系統中經過批處理方式拷貝到磁帶；
- 數據被加載到 Staging DB，進行數據質量分析；
- Data Quality Management Services 對數據進行清洗、匹配、標準化等；
- ETL Transform and Load services 對合格數據進行轉換並準備好加載數據；
- Master Data Interface Services 接收批處理更新請求，調用 Lifecycle Management Update Service 進行數據的批量更新；
- Lifecycle Management Update Service 調用 Hierarchy & Relationship Management Services 和 Base Services 更新主數據庫。
圖 6. 場景 2-- 主數據庫更新，而後同步到各業務系統
場景2：主數據庫更新，而後同步到各業務系統
- 某業務系統發起一個建立主數據的交易，該業務系統將交易數據以消息的形式發送到消息隊列；
- MDM Interface Services 捕獲該消息，進行消息解析，並調用 Security and Privacy Services 進行權限驗證；
- MDM Interface Services 調用 Lifecycle Mgmt. Update Service ；
- Lifecycle Mgmt. Update Service 再調用 Data Quality Management Services 進行數據的清洗和標準化；
- Update Service 調用 Search Services 發現該主數據已經存在，確認這是對已有主數據的更新操做；
- Update Service 經過調用外部系統對數據進行擴充；
- Update Service 在更新主數據庫以前調用 Event Management Services ；
- Event Management Services 確認是否須要涉及數據管控方面的處理；
- Update Service 調用 Hierarchy & Relationship Management Services 而且更新主數據庫；
- Audit Logging Services 紀錄相應交易日誌和歷史數據；
- MDM Lifecycle Management Service 調用 MDM Interface Services 返回更新處理請求；
- 源業務系統接收處處理請求以後，利用 MDM 系統發回來的數據對本地的應用系統數據庫進行更新操做；
- 其餘全部須要主動被更新的相關的業務系統都會接收到更新後的最新數據。
IBM 主數據管理解決方案
IBM 的主數據管理解決方案 InfoSphere Master Data Management 是 IBM 信息管理你們族的一員。
圖 7. IBM InfoSphere MDM Server 產品構成
如上圖所示，IBM MDM Server 包含：
- Knowledge(知識層)：知識層包括當事方 ( 人員和組織 )、角色、地址位置、當事人屬性（統計學信息）、關係、財務簡檔、多渠道集成、協議和產品、事件等。
- Action（交互層）：MDM Server 自己就是按照 SOA 的體系結構設計的，它提供 700 多個開箱既有的服務接口，這些服務可劃分爲多個主題範圍，以下圖所示：
圖 8. MDM Server Business Services
其中主要包括：
- 當事方人口統計學服務：
- 角色：一個當事方能夠扮演一個或多個角色，如賬戶方角色服務用於管理當事方在一個或多個賬戶中扮演的多個角色，折扣或索賠方角色服務用於維護當事方在一個或多個折扣或索賠中扮演的角色的信息。
- 關係服務：維護當事方對當事方關係，當事方對當事方關係不只能夠存在於兩個獨立的當事方之間 ( 例如甲方和乙方是配偶 )，也能夠存在於雙方在某個賬戶中扮演的角色範圍以內 ( 例如甲方是乙方遺囑的執行人 ) 。
- 位置服務：維護關於位置的數據，如地址和聯繫方式。
- 客戶服務和銷售服務：包含管理多渠道集成所須要的客戶服務與銷售信息的綜合業務服務。例如：隱私服務用於維護數據管理與請求的默認隱私偏好以及客戶聲明的隱私偏好；偏好服務用於管理複雜的客戶服務偏好 ( 好比，特定聯繫方法和特定產品的聯繫偏好 ) 。
- 協議和產品服務：賬戶或合同服務用於維護某個賬戶或合同的詳細信息，這裏合同定義爲一個或多個當事方與公司的合法協議。
- 數據維護服務：MDM Server 提供重複嫌疑管理服務 , 進行當事方記錄的合併等。
- 當事方財務簡檔：好比收入來源信息、財務賬戶信息等。
- 當事方識別服務：爲每一個客戶記錄建立一個惟一客戶 ID，而且維護對其它系統的交叉引用。
- 歷史紀錄和審覈服務：包含檢索對象的歷史審覈數據的服務。
- Integrity(完整性層)：完整性服務用於管理數據質量和維護客戶數據的單一版本，包括疑似處理、重複處理、數據檢查、標準化等。
- Intellegence(智能層)：包括事件管理、業務處理規則、數據安全性。
- Data Governance(數據管控層)：管理數據實體間的關係 (Relationship), 分組 (Group), 層次 (Hierarchy)，以及數據生命週期等。
- Service Inteface(接口層)： MDM Server 支持多個實時和批處理接口，其中實時接口包括 XML 接口、Web Services 接口、消息接口、Java 對象接口、COBOL 和 CICS 接口等。此外，還支持用戶自定義接口。
使用 IBM 全套解決方案的主數據管理案例
如下是一個使用全套 IBM 軟件解決方案的案例，這是一個典型的客戶主數據管理的應用場景，其中使用的產品包括：WebSphere Portal Server，WebSphere MDM Server，WebSphere Enterprise Services Bus, WebSphere QualityStage, DB2 等。
圖 9. 主數據管理應用案例
圖 9 描述了一個主數據管理應用的端到端流程：
- 業務系統經過本身的用戶界面建立一個新的用戶，而且把數據寫入了其應用系統數據庫中；
- 該業務系統向 MQ 發送一條 XML 消息；消息中包含了客戶基本信息和策略信息；
- MDM Server 接收到該 MQ 消息，對此消息進行處理；
- MDM Server 經過與 QualityStage 的接口調用 WebSphere QualityStage 的服務，進行客戶姓名和聯繫方式的清洗和標準化；
- WebSphere QualityStage 對客戶姓名和聯繫方式的清洗和標準化；
- WebSphere QualityStage 返回標準化了的客戶數據；
- MDM Server 接收到標準化了的客戶姓名和地址，查詢主數據庫獲取候選姓名，調用 QualityStage 的疑似匹配服務；
- QualityStage 進行疑似處理；
- QualityStage 將打分結果返回給 MDM Server，結果代表這是一個新客戶；
- MDM Server 向某外部系統發出 Web Services 請求，進行數據擴充；
- 外部系統將結果返回 MDM Server ；
- MDM Server 分配一個惟一的 PartyID，而且將客戶主數據寫入 MDM Server DB ；
- 根據客戶 Profile，MDM Server 發現該客戶是新推出的一項新業務的目標客戶；
- MDM Server 向 MQ 產生一條 XML/JMS 消息；
- WebSphere ESB 接收到 XML 消息而且將其轉換爲市場促銷系統所須要的消息格式；
- 市場促銷系統接收到該消息，進行相應的業務處理；
- MDM Server 產生 XML 交易響應信息給源業務系統；
- 源業務系統接收到響應信息，對其應用系統數據庫進行更新；
- MDM Server 又產生一個關於該新增客戶的完整信息，而且發送到 MQ，利用 MQ 的 Pub/Sub 機制將數據通知到各個相關的業務系統；
- 各個業務系統接收到新增的客戶信息，而且更新自身的應用系統數據庫。
客戶主數據系統實施方法論
客戶主數據項目的本質是一個系統間針對客戶信息的整合項目，根據以往的經驗，大體分紅基礎實施、雙向同步、多渠道訪問、全企業採用等 4 個階段，以下圖所示：
圖 10. 主數據系統實施步驟
基礎實施階段:
- 安裝 MDM，實現 ECIF 的基礎架構
- 完成主數據建模
- MDM 初始數據加載：根據指望的實施方法和策略，將數據從各個業務系統中抽取出來，通過清洗、轉換、標準化以後加載到主數據存儲庫中，在這個階段主要用到的是 ETL 的相關技術和工具。
- 使 MDM 的 700 多個業務服務能被其餘系統實時鏈接和使用。
基礎實施階段爲客戶數據集成搭建了基礎框架， 爲企業提供了轉向以客戶爲中心的能力和價值。後續的階段主要是在此基礎上推進全企業更多的應用和系統來使用這些價值，帶來更多的業務增加。因此第一階段的基礎實施對企業來講是相當重要的，也是客戶主數據管理項目可否帶來業務價值的關鍵。
雙向同步階段:
- 經過實時或批處理方式，幫助逐步實現業務系統和 MDM 系統的雙向數據更新和同步。這個階段階段主要用到的是 EAI/SOA 的相關技術和工具
- 多渠道訪問階段
- 整合 WCC 與已有的渠道或新的前臺系統，實現多渠道訪問。
- 添加新的客戶數據屬性和客戶爲中心的業務流程。
全企業採用階段:
- MDM 成爲企業惟一的記錄客戶信息的來源，促進對客戶的洞察力和了解。
- 促進全企業整合，支持端到端的業務流程。
小結
本文首先系統地介紹了主數據管理的概念，主數據管理系統和數據倉庫、ODS（操做型數據存儲）之間的區別，而且結合航空公司的需求，給出了航空業客戶主數據的簡單模型；在理解了主數據管理的基本概念以後，給出了主數據管理解決方案的邏輯框架以及 IBM 的主數據管理解決方案；最後跟你們分享了主數據管理項目實施的路徑和方法。