阿里巴巴雲上數據中臺之道02——中臺建設過程解析

來自專輯
數據中臺

關注免費獲取資料
一、回覆「交個朋友」，進入<數據交流羣>
二、回覆「數據中臺」，獲取<大廠數據中臺資料>
三、回覆「數據產品」，獲取<大廠數據產品面試題>

本篇主要寫建設數據中臺的建設路徑，具體的項目實施計劃，以及實施過程當中的注意點。

整個過程包含：
1、現狀梳理，明確當前主要問題
2、勾勒自下而上的解決方案
3、制定項目計劃
4、項目人員規劃
5、項目成果

1、首先進行現狀梳理，明確當前主要問題

每一塊業務都有對應的ETL開發團隊爲其提供數據支持，每一個團隊按本身的思路建設一套數據體系。

指標定義階段：字段命名不規範、口徑不統1、算法不一致

指標規劃階段：數據部門疲於對業務支持、缺少全局規劃，產品化能力不足

指標開發階段：煙囪式數據開發，數據重複，不可信

指標維護階段：複雜關係引用致使指標下線牽扯麪大

今後可看出，公司業務線較爲單一的狀況下，不須要盲目上中臺服務；數據中臺每每創建在解決必定交叉性數據問題的基礎上。

2、勾勒自下而上的解決方案

統一數據源：統一ODS數據基礎層，並有一個團隊負責和管控，其餘團隊無權複製數據基礎層中的數據

進行數據的統一規劃：面向業務提供服務前，由數據團隊負責從業務中抽象源於業務而又不一樣於業務的數據域，再主導統一建設數據中間層。

建設oneservice服務體系：將openAPI升級爲緩解業務變化對數據模型衝擊的方法論、數據產品，提供統一公用服務的同事，兼容面向個性化應用的服務。

3、繼而制定項目計劃

梳理清楚現狀以後，明確問題所在，明確解決方案，接下來須要作具體的實施。

第一步：肯定並堅決項目目標

在不影響業務發展的同時，在業務上推動數據價值化，降本提效爲基礎目標，創造業務價值。

第二步：肯定指導性的方法論

OneData：公共層建設核心方法論，知道構建與管理數據。

OneService：7x24h無間斷、無差別服務

OneEntity：鏈接孤島數據，實現數據鏈接後萃取各種標籤進行用戶畫像

其中OneEntity體系包含以下：

1）OneEntity統一實體：全域關係打通設想ID-mapping

2）GProfile全域標籤：四維標籤體系探索，包含天然屬性、社會屬性、興趣偏好、行業消費偏好...

3）GRelation全域關係：設想以全域Entity關係打通爲基礎的等關係圖譜

4）GBehavior全域行爲：以全域Entity關係聚攏造成全域行爲中心

第三步：肯定三步走的項目執行計劃

第一階段：完成全局架構

1.全面接管ODS數據基礎層

全面接管ODS數據基礎層，是一件十分吃力不討好的事情，事項十分繁瑣。但接管了ODS數據基礎層，則是從數據源頭上作了一層把關控制，防止重複建設數據體系的現象。

建設離線數ODS數據基礎層和實時ODS數據基礎層。

2.升級OneData體系

將OneData體系升級到OneDataII，比較關鍵的是制定關於數據規範定義、數據模型設計、ETL開發規範3大環節的方法大綱。

3.完成業務數據架構

從源頭控制住全部數據，而且也肯定了將來如何建設和管理數據的方法論，那接下來如何設計具備前瞻性、可持續性、可擴展性的直接面向業務層的服務呢？

須要對業務數據進行盤點、分析和認知。可是，若是對全部業務都同時進行盤點，不只耗時長且難以深刻，不具有可行性。

因而，能夠按照「二八原則」，先對關鍵業務及其關鍵數據進行第一批盤點，並從業務視角和技術視角同時進行盤點。

例如，對淘係數據的4100多張報表中的2萬多個指標盤點，通過多輪篩選，最終保留6600多個指標，便可保障當時的業務需求，其中1.4萬個指標，一部分直接下線，一部分在後續數據公共層建成並切換下線。

第二階段：抓關鍵業務的數據建設

在構建好ODS層以後，須要進一步豐富和完善DWD、DWS、ADS數據應用層。總共包含4個方向。

1.離線數據公共層建設（ODS、DWD、DWS）
最開始建設淘係數據基礎層治理項目，接盤ODS層以後，進行深度數據治理。，下降存儲和計算資源的消耗，提高數據監控管理力度。

2.離線數據應用層建設（ADS、報表）
一是面向應用服務的數據寬表的建設：基於數據公共層，向各個業務部門提供方便、快捷的數據服務。

二是給領導們提供關鍵數據：建設面向COO領導層的重點關注的經營指標。

三是建設各業務線、行業的數據。

3.數據存儲的專項治理

4.實時數據公共層建設

第三階段：全面鋪開，逐步推動各個項目的數據建設

（下一篇文章中進行展開）

第四步：明確處理好關鍵矛盾

第五步：緊盯業務並超越業務滿意度

一個月內完成第一階段的全局架構工做，並快速啓動第二階段。第二階段第一期切入關鍵應用，並在2個月內完成數據公共層初始化；第二階段二期在遷移存量應用的同時支持新需求。

把服務雙十一和雙十二做爲階段性業務目標，讓業務人員看到實際效果，技術人員感覺到技術進步，數據公共層建設的推動就會由難到易，由慢到快。

第六步：業務和技術，兩手都要抓，兩手都要硬

數據技術是數據公共層建設的內核力量，包含數據模型、存儲治理、數據質量、安全權限、平臺運維、研發工具等。

第七步：以產品化思惟推動項目
將數據公共層建設視爲一個須要長期運營的產品。

第八步：關注預警和增強風險管理

提早進行風險規劃，制定保障措施，如：
風險描述：數據規範定義和數據模型設計體系化，須要專業人才和工具保障。

保障措施：
1）制定規則及工做流，完善onedata體系數據規範定義，同時以工具化保障onedata體系工做流

2）數據產品經理和數據模型師培養，輸出多名具備建模思想和建模能力、同時熟悉業務的人員

3）公共層能夠穩定支持業務後，按期安排數據模型師和ETL研發人員深刻業務以更新對源系統和業務的認知

4、同時須要項目人員規劃

如果須要最終完美的完成項目計劃，缺少其餘業務部門或技術部門的配合是萬萬不可的，由於在實際的項目進程中，須要一個實體團隊來負責數據公共層建設，以及協同若干個業務線的技術團隊做爲虛線加入項目組。

在最初建設時，數據團隊只有50我的，而要實現如此龐大的計劃，須要更多人員的支持。在建設前期由兼職的18羅漢進行現狀梳理，並完成全局架構。

隨着項目的興起，領導團隊對項目越發看重，於是獲得了更多人員資源上的支持。

5、最後靜待項目成果

降本：數據計算成本和存儲成本下降，以及因重複建設而形成的人力成本的下降等。

2015年，批量數據計算總時長減小約50%，解約計算成本近億元；批量數據下線，解約存儲空間上百PB，節約存儲成本上億元。

提效：讓各業務部門獲得了統1、標準的數據服務，而且響應速度很快，提高了使用數據的效率。

業務上，數據價值化。

如上是阿里數據中臺第一階段、第二階段的建設過程，接下來一篇會繼續解析第三階段：全面鋪開的數據中臺建設過程。

一個數據人的自留地是一個助力數據人成長的你們庭，幫助對數據感興趣的夥伴們明確學習方向、精準提高技能。掃碼關注我，帶你探索數據的神奇奧祕