昨天講平臺、今天變中臺，數據中臺都幹了啥？

時間 2019-11-21

標籤昨天平臺今天中臺數據幹了简体版

原文原文鏈接

一、爲解決數據煙囪而來

中國企業的大數據發展大概經歷了三個階段。算法

第一階段，是 2000 年以後的企業內部信息化，中國許多大型企業開啓了一波以數據庫、ERP 爲主的底層 IT 建設，進行了初步的「業務數據化」建設。第二階段，是 2004 年到 2012 年，隨着 BAT 紛紛上市，互聯網經濟的崛起，讓數據思惟深刻各行各業，數據量慢慢壯大。第三階段是 2013 年以後，移動互聯網的發展，一些金融、零售等大型企業響應「互聯網＋」概念，走向線上線下深度融合，這時數據服務的形式開始增多，業務維度更加複雜。數據庫

將數據用起來，隨時隨地分析企業狀況進行精細化運營，企業須要打通老一代 ERP、數據庫等 IT 系統，同時還須要應對業務增多且快速變更的狀況。並且大企業之間各部門之間的數據每每都沒有「共享」，運用不一樣的開發隊伍開發平臺和工具的不統一，這時，數據服務每每就是一個個從各平臺伸出的 數據「煙囪」。架構

之前數據量少的時候，建數據煙囪是沒有問題的。但隨着數據愈來愈多，假如一個企業有數十個甚至上百個應用的時候，就會有有明顯的重複建設、資源浪費，甚至更嚴重的是因建設者不一樣而形成口徑標準都不一致。另外一方面，數據量龐大的時候，增刪改查也會變得很是緩慢。「數據中臺」就是這樣隨需求而來的概念，但願存在一個提供公共的數據服務能力的地方，你們能夠從這裏快速獲取這些能力，來支撐新的數據應用，且各部門都能保持一致。機器學習

袋鼠雲 CEO 拖雷 說：「數據中臺能夠理解爲企業的最核心的數據大腦，企業全域的數據處理中心，是一種企業信息化的升級過程，從 過去的煙囪式（企業信息化 1.0）升級到如今的中臺式（企業信息化 2.0），1.0 時代，系統與數據都是割裂的，無法發揮最大價值，在 2.0 時代，底層系統是共享的，微服務化的，中心化的，全部的應用，數據都採用服務化的方式來共享資源，最大化的提高靈活度與便捷性，隨着敏捷開發的普及，中臺思想也帶來快速的創新。」分佈式

百分點程佳 回覆咱們：「數據中臺是一個集數據採集、融合、治理、組織管理、智能分析爲一體，將數據以服務方式提供給前臺應用，以提高業務運行效率、持續促進業務創新爲目標的總體平臺。幫企業把數據用起來，提高決策水平是對數據中臺的一個最基礎的要求。」微服務

網易嚴選魏文慶則用了一個很形象的比喻：「打個比方，當我一家人要吃飯，我本身買菜，在本身的廚房用普通的廚具本身作就行了，若是是富士康，幾萬幾十萬人吃飯，就須要建食材的加工配送中心 (類比數據中臺)。本質上是需求規模量級的變化，致使解決方案的質變」。工具

二、數據中臺和數據平臺有何不一樣？

提及「中臺」咱們必會提起馬雲的 Supercell 之旅，不少人將一系列的「中臺」理念解讀爲因地制宜的「中國產物」，並且在國外沒有「中臺」這種叫法，依然叫作「平臺化」能力。學習

阿里的「中臺」火了以後，咱們忽然發現已有無數家「數據中臺」落地成果的企業，有些轉換完成彷佛一瞬間。因此針對咱們採訪的企業，每一家咱們都追問了一個問題：「從以前的大數據平臺，轉變爲建設數據中臺，這之間企業在研發或人員上作了哪些改變？」也有企業直接告訴咱們，在數據中臺概念出現以前，就一直在按這種理念推動，甚至有的已經在此以前完成了相關平臺的設計與實踐工做，阿里帶火中臺理念後，因而就用上了這個詞。這些企業中，哪些能夠被直接劃分到「數據中臺」行業中？大數據

是否有「公共模塊」是衡量企業是否有創建數據中臺的其中一個標準。spa

帶火「中臺」概念的阿里，在實施數據中臺的時候，採用的是「數據中臺 + 業務中臺「的雙中臺形式來提供公共服務。在數據中臺裏將數據業務化，來供業務中臺調用，以快速反饋結果。阿里謝純良在接受 InfoQ 採訪時曾表示：「以阿里電商業務爲例，用戶若是想買一個手機，在下單頁面會推薦手機殼、充電寶等其餘相關並估計你感興趣的產品。但值得注意的是，業務中臺不知道你喜歡什麼，須要根據用戶歷史記錄去分析。若是這個數據量很是龐大，現查是很是慢的，不可能瞬間就查到結果。因而阿里把數據業務化，將用戶在歷史庫裏面的一堆數據作成一序列業務模型。這時在業務中臺裏要查某一用戶喜歡什麼時，它立馬能調出結果並反饋，這個反饋多是毫秒級。這是數據中臺最大的魅力。」

數瀾科技創始合夥人 &CDO 付登坡（天湛） 表示數據中臺是讓數據用起來的持續的一套機制，經過創建一套能共享服務的體系，基於數據運營機制造成的閉環路徑，通過業務數據化、數據資產化、資產服務化、服務業務化，在有權限管理的狀況下開放出去，把能夠複用的能力放在一塊兒，用統一標準和口徑，向前臺業務部門和決策部門以 API 的方式提供數據和計算服務。好比說數瀾爲這套機制創建的數棲平臺就是一套提供公共服務的「模塊」，數棲平臺的目標定位就是爲了讓數據可以更方便的使用，再加上一套方法論和運營機制，就是在創建數據中臺。「數瀾推進實施項目，有不少是儘可能去複用已有的這個平臺，可是會增長一些東西，好比說數據的管理，標籤的管理，服務......」。

數據中臺強調的是一種複用能力。不少企業的願景都是「將數據用起來」，這也是數據平臺這些企業基礎設施的定位目標，若是再加上一些複用方法論和完善的運營機制，那麼可咱們就能夠認爲企業是在建設「數據中臺」。使用數據中臺的最明顯的效果就是提高開發效率，使用封裝好的工具平臺，下降開發難度，數據分析的速度會大大提升。

三、數據中臺和數據平臺的關係

魏文慶 給咱們的解釋說，網易嚴選的定義是「數據中臺是高質量、高效賦能數據前臺的一系列數據系統和數據服務的組合」，不管是數據中臺、業務總檯、技術中臺，核心都是「標準化」，實現流程都是先「規範化」，而後把規範「產品化工具化」。數據中臺要經過「數據中臺系統」（包含數倉體系、數據服務集和 BI 平臺）進行表達 ，打破數據管理經驗化的思惟，用標準化、工具化來作數據。但中臺自己是業務相關的，價值是要數據產品對外輸出，須要經過數據產品（前臺）和數據中臺相輔相成進行發展。而數據平臺是業務無關的，爲數據中臺提供存儲、計算能力。

之前咱們有各類數據治理的概念，達到制定數據政策、促進數據在組織內無障礙共享的目標，還有各類精準營銷、風控等企業業務，數據中臺與它們在技術上是否有本質上的區別？數瀾天湛 回答說：「技術上差異不大，主要是業務上前者多數更爲垂直，用一部分的數據解決一個部門的業務的某一個痛點。好比說業務中臺的目標是理論上是對業務的一些資源共享，那麼數據中臺就是爲了數據資源共享，若是應用過於垂直，可能就達不到中臺的一個定義。因此它們最大的差異在於數據打通層面的範圍大小，和存在這種數據資源共享的理念。」

四、數據中臺的實現形式

袋鼠雲拖雷 在回覆咱們的構建方法問題時說道：「數據中臺的構建並不複雜，你能夠先構建業務中臺，再構建數據中臺，也能夠直接構建數據中臺（相似構建數據倉庫）。主要的目的是把企業全域的數據放在一塊兒，統一的加工處理，是一個面向將來的分佈式，服務化的架構。」

阿里謝純良在咱們以前的採訪中曾說，若是企業沒有業務中臺、只有數據中臺，那它加工的結果大部分是服務於大屏，就搞一個大屏就結束了，那麼這個數據中臺就跟阿里理解的數據中臺差的還遠。

咱們看一下阿里的中臺，包括業務中臺，數據中臺。最底層是 IaaS+Data，中間是咱們說的雙中臺，PaaS 層。上層是應用，SaaS，號稱小前臺。

五、數據中臺的層次

一個完整的數據平臺至少應該包含三層，即大數據計算平臺、數據中臺、數據應用前臺。

中臺的定位是用技術連接計算平臺的數據處理能力，用數據連接應用前臺的數據應用能力。所以，中臺不但要將很複雜的大數據處理技術（流計算、批量計算、實時採集、離線採集、機器學習）封裝起來，造成計算平臺；同時，進入中臺的數據都需按照規範的建模方法論將數據造成主題域模型、造成標籤模型或者算法模型。這些數據模型是數據中臺的核心資產。接入數據中臺的各業務系統經過大數據計算平臺這座數據加工廠統一加工後產生數據模型，再將這些數據資產經過可視化的界面管理起來，並使用標準化的數據服務接口對數據應用端提供數據應用服務。

下圖爲一個比較典型的企業數據平臺全景圖：

六、雙中臺的互相做用

雲徙科技在構建數據中臺的時候一樣創建了雙中臺架構，雲徙科技聯合創始人兼首席架構師陳新宇 解釋了雙中臺之間如何互相做用的：

數據中臺與業務中臺並稱數字中臺。其中，業務中臺是負責支撐業務在線，將企業業務系統中通用的業務能力抽象成領域中心，使得這部分能力獲得最大化的複用，支撐多端訪問、多種相似的場景。數據中臺是採用大數據存儲和處理技術，對海量數據根據統一標準進行採集、計算、存儲、加工處理，造成數據模型和數據資產，並經過數據服務提供給業務方使用。數據中臺與業務中臺最大的區別是業務中臺圍繞業務流程，而數據中臺一切以數據爲主題進行運轉，包含數據採集、數據融合、數據建模、數據聚合分析、數據服務、數據資產治理；總之，前者旨在讓業務數據化，後者旨在讓數據業務化。

一個比較完善的業務中臺幾乎囊括了企業的核心業務，所以，業務中臺是數據中臺的數據原材料提供者之一；業務中臺的領域中心是自然的主數據中心。所以，業務中臺輸出的數據更加標準、更加規範，大大下降數據中臺的數據清洗工做；同時，數據中臺通過數據建模造成的數據能力，必須與業務結合才能發揮其價值，那麼業務中臺就是讓數據能力發揮價值的最合適的載體。通俗的說，若是將企業的信息化系統比喻成一輛自行車，那麼業務中臺和數據中臺就是自行車的兩個輪子，兩個輪子經過數據這根「鏈條」緊密聯繫，發揮價值，離開哪個輪子，信息化系統這輛自行車都沒法正常行駛。再舉一個例子，業務中臺是炮火，數據中臺是雷達。雷達分析的數據來源是業務中臺，分析結果經過業務中臺對業務產生反饋，從而採起業務活動，纔是一切業務數據化，一切數據業務化。業務中臺和數據中臺是因爲採用的技術手段不一樣而產生了相對隔離，但從業務的角度，他們是一體的，一塊兒爲企業業務服務的。

數瀾天湛 給咱們解釋，目前業界現狀是雙中臺，數據在數據中臺中變成一種數據服務，在業務中臺裏去使用，將來可能會模糊化業務中臺跟數據中臺。由於數據服務的使用會變成一個常態，你們以爲很天然的可使用數據能力。那時業務中臺跟數據中臺，可能邊界就會模糊，就變成一箇中臺和一個前臺，前臺是各類業務的觸點，中臺是公共能力。

七、構建數據中臺須要的能力

一位前阿里技術專家曾跟咱們聊到說，一個淘寶網，能夠有一千萬家店，企業裏有不少的公共的資源能夠經過中臺共享，但阿里內部之前它叫「企業互聯網架構」，但由於中臺這個詞火了，不得已就用「中臺」來代替了。那麼數據中臺的出現，是否是仍是在考驗「架構」的設計和系統工程能力？若是一開始，架構作的好，是否是這些問題會隨着架構設計而被解決呢？

袋鼠雲拖雷 回答說：「數據中臺是一種理念，一種思惟，是架構的升級，是一種面向將來的架構。」

數瀾天湛 表示：「確定是一種架構能力。數據中臺自己是一套很是複雜的體系，平臺工具自己架構設計能力要求也很是高。但也不只僅是架構，也不只僅是產品，架構師和產品經理都推進不了，數據中臺是一個頂層戰略，數據中臺涉及業務運轉方式的改變，必須有足夠的推力才能啓動。是企業的一把手工程，是一個企業級戰略，須要管理層、業務團隊、技術團隊、數據團隊所有參與進來，目標是實現經營的數據化、精細化，實現企業的數字化轉型。數據科學團隊是數據中臺的深刻參與者，但也僅僅是多個角色的其中一個。中臺數據是戰略層面的事情而不是戰術層面，自下向上推進幾乎沒有可能，好比涉及標準統一，從下而上只能看到一個點，不免會以偏概全。」

中臺承載的是企業最核心的業務能力，最核心的差別化競爭力，是戰略層面的事情，沒有戰略層面的決心和耐心堅持下來就很難看到成果，有的時候，中臺建設確實也須要「由於相信，因此看見」。中臺建設須要有全員共識，由管理層從上往下推動，由技術和業務人員去執行和落地，是個漫長的過程，因此實施數據中臺時，最困難的地方就是須要推進力。好比在中國有各類「數據牆」，你們都以爲數據有價值，也沒有發揮這個價值，可是對數據又保護的很緊。爲了解決某一塊的業務，須要去拿多個部門的數據，有時甚至涉及到幾十個部門，最初可能立刻獲得口頭上的應允，但最後真正拿到數據卻很困難，這時候推進力決定了整個項目的進展。天湛表示這一般就是數據中臺項目實施中涉及到的最大的坑。

實施數據中臺，在團隊人員建設上，對數據科學平臺團隊的要求和原來並無什麼不一樣，袋鼠雲拖雷回覆咱們，「只是體系架構的變化，思惟的變化，隨着服務化與敏捷模式的普及，創新會變得愈來愈快「。

八、避不開的數據中臺

就像咱們前面所說的，數據中臺最重要的是要「幫企業把數據用起來，提高決策水平」，是一種數據思惟。那麼每個企業都應該有這種思惟，重視信息化技術，讓數據發揮價值。不僅僅是由於業務複雜、數據量大、須要數字化轉型的緣由，是從業務開始就應該具有的一種理念。袋鼠雲拖雷也說：「將來任何企業都是必須的，將來任何一家企業都是數據化的企業，都須要一個數據中臺」。