數棧數據中臺專欄（一） ：淺析數據中臺策略與建設實踐

本文做者：張旭

袋鼠雲合夥人、技術總監、數據中臺事業部副總經理，花名：老虎。在袋鼠雲工做期間，深刻了解客戶需求，負責多個大數據項目的落地實施，如貴州茅臺、新華書店、輕鬆籌、貴州交警等等，對於企業應用大數據的痛點具備清晰的瞭解和豐富的實踐經驗。

---

 

數據中臺是什麼？
數據中臺建設的價值在哪裏？
數據中臺和傳統數倉還有數據中心有什麼區別？
這幾乎是筆者最近被別人問到的最多的問題。之因此有這些疑問，其一是不懂的同窗真心想了解，其二是懂的同窗對咱們的考驗。

數據中臺，解決數據「存」、「通」、「用」難題

讓一切業務數據化，一切數據業務化

具體而說，數據中臺並非一個跨時代的全新理念，就比如筆者當年學習SOA同樣，發現其實質仍是組件化，模塊化，是設計模式與業務端的應用。數據中臺建設的基礎仍是數據倉庫和數據中心，而且在數倉模型的設計上也是一脈傳承，之因此咱們如今到處推崇數據中臺建設及應用，一個是由於數據中臺確實有過人之處，另外一個是這套模型在阿里體現了巨大的應用價值。

首先先總結一下數據中臺策略中的幾個過人之處

第一：數據匯聚，承上啓下。

數據中臺策略的基本理念是，將全部的數據匯聚到數據中臺，之後的每一個數據應用（不管是指標和分析類的，仍是畫像類和大數據類的）通通從數據中臺獲取數據，若是數據中臺沒有，那麼數據中臺就負責把數據找來，若是數據中臺找不來，就說明當前真沒有這個數據，數據應用也就無從展開。
按照這種模式，若是企業中數據應用數量大於3-5個，那麼數據中臺將總體上節約30%的成本，隨着數據應用的增加，這樣節約的成本還會更大。傳統的數據倉庫和數據中心，若是作得比較好，設計到位的話，也會作完整的數據模型設計，可是每每偏重於設計和技術，在執行的過程當中，很難保障數據的全，也很難保證數據應用不跨過數據中心，從新作數據的話，那麼後期數據則會比較混亂。
相對而言，數據中臺策略中更增強調數據的「全」以及數據中臺組織與數據應用組織之間的協做關係，從設計、組織、建設、流程角度保障了模式的落地。

     袋鼠雲數據中臺策略

第二：縱觀大局，推進全局

數據業務在企業中應當是一個完整業務，是一個亟需提升定位的業務，是企業的戰略業務。
因此數據中臺策略應當對應企業的數據戰略，並提供更有力的支撐，而不是僅僅停留在把數據找到，把數據清洗，把數據算出來。
因此，構建數據中臺建設，須要詳實瞭解企業的數據狀況，數據需求以及構建數據業務的推進藍圖。
上述內容應當經過相互銜接的七個數據服務進行完整的構建以及推進。

袋鼠雲數據中臺七大數據服務

• 數據資源規劃及獲取

盤點數據資源、規劃數據資源、獲取數據資源，並將全部數據資源進行完整呈現；

• 數據質量分析及提高

從基礎數據、業務數據、大數據視角綜合分析當前的數據質量問題；

• 基於中臺策略的數據總體建模與數據資產管理

企業可根據數據資源規劃報告指導後續數據治理和數據資產管理平臺的建設，最終服務於企業數據應用場景。

• 實體畫像及標籤引擎

 對用戶、產品、客商、營銷各主題域進行標籤提取，將其特徵數字化，爲後續進行精準 營銷和用戶畫像提供必要條件。

• 數據指標體系梳理及計算（BI）

構建企業標籤體系，着重分析當前須要可是沒法獲取到的指標，描述使用不便的指標，分析問題緣由，繪製數據供應鏈條；

• 數據應用規劃及實現（DI）

基於當前外部數據、IOT數據、非結構和半結構化數據進行大數據應用的規劃，並論證明現過程和進行成本評估。一旦評估經過能夠幫助企業進行大數據應用的完整開發和落地。

• 數據可視化大屏

數據可視化大屏，講述數據背後的價值。在最短的時間內用最具衝擊力的視覺語言，將企業最重要的數據/信息傳遞給最重要的人。

袋鼠雲數據中臺七大數據服務

經過上述服務內容，但願將企業數據資源狀況完整展示，數據問題展示，數據資產狀況展示，數據需求展示（傳統數據分析方面、大數據應用方面）從而繪製一張完整的數據供應鏈地圖，最終利用這張地圖，輔助數據業務推動。

第三：技術升級、應用便捷

大數據平臺在很長一段時間，甚至直至如今都仍是以開源產品爲主流的情況，開源產品使用費力，配置繁瑣，致使大數據開發門檻高，數據應用受到嚴重阻礙，甚至在不少地方一直把大數據技術平臺和傳統的數倉作區別對待，認爲大數據產品的特色是流式計算和處理非結構化數據。
其實大數據產品若是可以下降使用門檻的話，會迅速替代傳統數倉的技術產品。傳統數倉不管在海量數據處理能力，節點擴展能力，實時計算能力，軟件購買和維護成本等諸多方面都沒法與當前的大數據平臺進行抗衡。
目前業內比較典型的就是阿里雲數加平臺，數加平臺基本讓數據開發者可以像使用傳統數據庫同樣的使用大數據平臺了，全部操做方式都是經過可視化界面進行，大部分的開發都是經過SQL語句來實現。當筆者使用數加產品時，老是回想起第一次使用java IDE（JBuild、Eclipse） 產品時的感覺。
袋鼠雲數據中臺產品（數棧）客觀的說則是一款輕量化的，可私有部署的類數加產品，用以解決基於私有云的大數據平臺的管理和開發問題。
數據中臺產品在與數加產品功能對比上不分伯仲，同時又基於私有云大數據應用的特色定製開發了諸多功能以及數據治理模塊用以推進企業總體數據化進程。

袋鼠雲數棧產品體系

 

袋鼠雲數棧產品一覽

袋鼠雲數據中臺建設與策略已經脫離了一個單純的產品概念範疇，更多的是關注於企業的總體數據化建設工做，但願經過數棧產品和七大數據服務貼身參與用戶全方位與全過程的數據化建設。同時咱們期待這樣的數據化建設應當是高效率，高應用價值和低成本的。