企業數據中臺建設和發展的思考

1、 數據中臺產生背景、定義和特徵
1.數據中臺產生背景
2010年後，隨着移動互聯網以及物聯網的快速發展，數據爆炸式增加，各類數據服務需求不斷涌現。但在傳統IT建設方式下，企業的各類信息系統和數據庫大可能是獨立採購或者獨立建設的，新舊IT系統中沉澱的數據之間難以打通，致使企業內部造成一個個「數據孤島」「數據煙囪」，分散割裂且不易造成可共享的數據服務，沒法知足企業降本增效、高質量發展的訴求，於是成爲企業在數字化轉型過程當中的一個最大痛點。在企業對數據服務和共享日益迫切的需求下，以構建數據資產體系、釋放數據資產價值爲核心的數據中臺被推到了廣闊的舞臺中臺，所以數據中臺是數字化轉型過程天然演進的結果。
2 數據中臺的定義和特徵
在企業IT架構日益複雜的今天，如何快速整合數據資產、發掘數據的價值進而造成多樣化的數據服務能力，爲企業生產管理、精細化運營、高效決策提供支撐，咱們亟需一套數據管理和服務機制。數據中臺就是一套可持續「讓企業的數據用起來」的機制，是依據企業特有的業務模式和組織架構，經過有形的產品和方法論的支撐，構建一套持續不斷把數據變成資產並服務於業務、運營、管理決策的機制。數據中臺它以多樣化的數據服務能力以及統一的數據標準、流程規範，加速了業務數據化、數據資產化、資產服務化的進程，幫助企業實現數據互聯互通、資源協調和數據管理、數據集成和共享。

數據中臺的特徵：全、統、通，以下圖1所示。

全域數據是指聚集盤點企業全部數據資源，並將全部數據資源進行完整呈現，全域數據集成的目標是提供用戶一站式的數據同步和數據處理的能力，容許用戶在數據集成界面上經過簡單高效的一站式操做完成數據開發和運維工做，且能有效下降運行成本，全域數據是構建數據應用的基礎；統一規範則是讓數據都遵循相同的標準，而且提供統一開放的數據服務接口，讓更多的前臺應用共享數據中臺提供的標準化數據能力（好比：數據API，數據標籤，數據監控等）；聯接打通就是爲了融合整個企業的所有數據，打通孤島數據，消除數據標準和口徑不一致的問題。經過聯接打通，融合企業不一樣的技術架構、IT系統和數據，既保護現有投資，助力企業對歷史海量數據的價值挖掘，同時把先進的數字技術與企業敏捷運營、精益管理融合起來，下降企業數據管理和運營的複雜度，實現面向將來的共同價值創造。
2、 數據中臺的主要價值
在以客戶爲中心的時代，數據中臺對數字化轉型具備重要做用，在客戶洞察、商業創新、效能提高等方面爲企業帶來巨大價值。具體來講，數據中臺的主要價值包含如下三個層面：
1．以客戶爲中心，用洞察驅動企業穩健行動
在以客戶爲中心的時代，客戶的觀念和行爲正在從根本上改變企業的經營方式以及企業與客戶的互動方式。數據中臺建設的核心目標就是以客戶爲中心的持續規模化創新，而數據中臺的出現，將會極大提高企業數據的應用能力，將海量數據轉化爲高質量數據資產，爲企業提供更深層的客戶洞察，從而爲客戶提供更具個性化和智能化的產品和服務。
二、以數據爲基礎，快速構建服務，加快企業商業創新。企業裏存在海量的數據，只有依託算法和數據分析，才能對海量的數據產生精準洞察，應用到生產業務和運營中去，從而加快商業的創新。此外，數據中臺提供標準的數據訪問能力，簡化集成複雜性、促進互操做性，在快速構建數據服務能力、加快商業創新、提高業務適配等方面，數據中臺也發揮着重要的做用。
三、以效能爲目標，全要素數據化運營，實現企業數據資產的持續增值。數據中臺的目標是不斷知足前端迅速變化的用戶需求，經過數據化運營、持續交付、效能提高，更好支持業務發展和創新，驅動企業的數字化轉型。面對紛繁複雜而又分散割裂的海量數據，數據中臺不只能夠幫助企業聚合內外部數據，盤活全量數據，還能夠快速構建各類各樣的數據服務，打造持續增值的數據資產，實現以數據來驅動決策和運營，不斷深化企業數字化轉型。
3、 數據中臺的總體架構
數據中臺的總體架構以下圖2所示，數據中臺是位於數據底座雲平臺與上層的數據應用之間的一整套體系。數據中臺屏蔽掉底層雲平臺的技術複雜性，下降對技術人才的需求，讓數據的使用成本更低。經過數據中臺的數據匯聚、數據開發，創建企業數據資產，造成數據體系。經過數據資產管理、數據服務管理把數據資產轉變爲不一樣的數據服務能力，服務於企業各類業務。數據安全管理、數據運營體系保障數據中臺能夠長期健康、持續運轉。數據中臺經過各類數據應用銜接內外用戶，爲它們提供快速決策響應、精細化運營及服務支撐等，讓數據業務化，更好地驅動業務發展和創新。

1）數據底座是數據中臺誕生的重要基礎。數字化轉型是利用數字技術，把企業各環節要素數字化，推進要
素資源配置優化、業務流程生產方式重組變革，從而提升企業經濟效率的過程，其中數字基礎設施是生產工具，數據是生產資料。以雲計算爲核心，融合人工智能、大數據等技術，創新應用開發和部署工具，可加速數據的流通、聚集、處理和價值挖掘，有效提高企業應用的生產率。現在企業上雲已經是大趨勢，但因爲業務的紛繁複雜及多樣化需求，企業每每有私有云、公有云、混合雲等不一樣的雲環境，多雲管理應運而生。在多雲管理的基礎上，不只能夠聚集企業內外部的數據資源，還能夠與企業內已有的業務流程、運營管理、安全管控等系統集成，經過統一標準的數據服務及資源調配，實現最優、最安全配置和高效運營，提升性能和可用性3。
2）數據中臺是讓數據持續用起來，經過各類工具、方法和運行機制，把數據轉變爲一種服務能力，服務於企業業務。數據匯聚是數據中臺各類數據資源接入的入口。數據中臺自己並不產生任何數據，全部數據來自於業務系統、日誌、文件、網絡等，這些數據分散在不一樣的網絡環境和存儲平臺中，難以利用，很難產生業務價值。數據匯聚是數據中臺必須提供的核心工具，把各類異構數據源的數據方便地採集到數據中臺中進行集中存儲，爲後續的加工建模作準備；數據開發則是經過一整套數據開發和建模工具，提供不一樣的模型和服務功能，快速把數據加工成對業務有價值的形式，提供給業務使用；數據體系是數據中臺的血肉，有了數據匯聚、數據開發模塊，中臺已經具有傳統數據倉庫的基本能力，就能夠作數據的匯聚以及各類數據開發，創建企業的數據體系了。大數據時代，數據量大，增加快，業務對數據的依賴也會愈來愈高，必須考慮數據的一致性和可複用性，垂直的、煙囪式的數據和數據服務的建設方式註定不能長久存在。不一樣的企業因業務不一樣致使數據不一樣，數據體系建設的內容也不一樣，但大致類似，通常按照貼源數據、統一數倉、標籤數據、應用數據的標準來統一建設；數據資產管理經過數據體系創建起來的數據資產較爲偏技術，業務人員比較難理解。資產管理最好是以企業全員更好理解的方式，把企業的數據資產展示給企業全員（固然要考慮權限和安全管控），數據資產管理以一種更直觀的方式展示企業的數據資產，提高企業的數據意識；數據服務體系就是把數據變爲一種服務能力，經過數據服務讓數據參與到業務，激活整個數據中臺，數據服務體系是數據中臺存在的價值所在。大部分的數據服務均可以經過中臺的能力快速定製，好比服務的管控、鑑權、計量、調度等功能；運營體系和安全管理是數據中臺得以健康、安全、持續運轉的基礎。
3）數據中臺的重要聚焦點在企業的數據應用場景上。數據應用場景既是數據中臺的啓動點，又是實現創新的基石。不一樣行業的不一樣企業在不一樣的發展階段，其數據應用的需求也是不同的，具體應用場景的優先級也是不一樣的，並且不一樣階段支撐的場景數據也須要不斷的迭代。數據中臺經過數據採集、開發建模、數據資產交易、數據服務、數據運營等場景與企業內外用戶發生各類交互，實現企業數據中臺服務一體化，驅動業務精細化運營的能力建設，持續夯實數據基礎，造成數據與業務正向自循環促進的關係，不只全面推進企業內部蓬勃的業務創新，也能夠更好地對外服務，帶動整個企業的數字化轉型。
4、 數據中臺建設的挑戰與應對方法
數據中臺建設面臨的挑戰包括：1）梳理業務場景：搞清楚數據中臺如何對業務產生價值。2）建設數據中臺的優先級策略：需求可能大而全，但咱們不能直接建大而全的數據中臺，應該根據業務重要性來排需求的優先級。3）數據治理問題：和業務獨立開的數據治理少有成功的，大的數據標準要有（數據資產目錄），經過數據資產目錄將共有的緯度、共性的業務模型提煉出來，在此基礎之上數據治理須要跟業務場景緊密結合。
數據中臺的建設面臨不少挑戰，道阻且長不是一蹴而就的，在這裏須要把握如下應對方法：
（1）須要一把手的重視和支持。一把手首先須要認識到數據中臺的價值，數據是業務重要的支撐，是重要的推進力，更能夠引領業務的發展。另外就是數據中臺的建設必定要有戰略規劃，更須要有相應的組織、制度、流程、資源的保障，所以只有得到企業一把手的支持，才能推進數據中臺的持續建設。
（2）須要數據生態建設思惟。數據生態體系的構建可以爲企業的管理、人才、銷售與夥伴，提供更好的競爭環境和，資源配置效率，實現可持續發展的戰略轉折。並經過開放式數據生態合做，創新連通上下游產業鏈，保持存量市場，擴大增量市場；
（3）須要創建數據湖的概念，推進數據和業務、技術的融合，實現跨地域、跨系統、跨層級、跨部門、跨業務的協同管理和服務。
（4）重視數據治理。數據治理是數據中臺建設中的關鍵一環。數據治理不只要解決數據全不全、準不許、好很差用的問題，更要讓業務團隊知道公司的數據能力和數據資產標準，讓你們達成共建、共享、標準化的一致理念，確保數據流轉和應用是基於一樣的標準和基礎，真正把數據用好、用準、用透，讓數據持續爲業務賦能，助力企業的數字化轉型。
5、數據中臺落地六步法
數據中臺技術集成度高，建設難點多，存在必定的建設風險，如何成功落地須要從如下六個方面着力：（1）創建清晰的數據戰略是數據中臺建設的第一步（2）數據技術和平臺能力（包括人工智能）是規模化應用數據的基礎（3）找到有價值的業務場景和用例，將數據應用起來是關鍵（4）創建企業的數據意識和認知，打造數據文化是土壤（5）讓數據團隊和業務緊密結合，價值驅動（6）持續運營，快速迭代，達到持續智能。
數據中臺能夠幫助企業整合內外部數據資源與平臺能力，打通企業數據，提供之前單個部門或者單個業務單元沒法提供的數據服務能力，以實現數據的更大價值變現。

結束語
在以客戶爲中心的時代，數據中臺對數字化轉型具備重要做用，以數據中臺爲基礎的數據系統將位於企業應用的核心，在企業降本增效、精細化經營等方面爲企業帶來巨大收益。數據中臺的將來的應用趨勢是向中小型企業賦能，下降企業的建設成本，發揮數據驅動業務創新的價值，帶動整個產業的數字化轉型。