數據資產管理在騰訊遊戲的實踐

本文是由來自騰訊的陳才進行的分享。做者專一數據資產管理，自動化運維，AIOps。

騰訊遊戲大數據運營概況

每日傳輸量：17000億條，約260TB，總存儲量爲100PB+，公司佔比爲20%。

在遊戲大數據管控中，面臨着衆多問題與痛點：

• 數據多樣化，缺乏統一標準
• 計算邏輯理解一不致，致使統計結果有誤差
• 數據全鏈路質量問題，層次複雜、不能快速定位問題
• 遊戲數據管控的問題與難點
• 數據質量偏低給數據應用帶來的各類挑戰
• 數據標準缺少結構化管理，集成困難
• 數據分散，沒有造成完整的成本管理
• 數據價值的評估較爲困難
• 數據安全與合規保障的問題

歷經6年在各階段解決的關鍵問題，構建遊戲大數據資產管理體系：

經過組織、流程、制度、技術等組合手段，確保數據交付的質量、效率、成本和安全，助力業務數據價值提高。

遊戲大數據資產管理體系

元數據管理

• 異構適配，集中存儲
• 業務指標，開放共享
• 描述數據，理解業務
• 自動構建血緣關係鏈
• 擴展能力，輔助運營

數據採集架構

• 單機： UDP：5W qps; KCP: 9w; TCP:10w
• 單機吞吐量：180Mbps
• 分佈式高可用，雙方擴容互不耦合
• 高可用，高可靠：擴容不丟失數據；WAL雙備數據
• 完整率: 99.99~99.9999%
• 多協議支持；多數據格式支持
• 專業數據管理、數據運維
• 周邊系統完善支持

數據標準管理

數據治理面臨挑戰

數據服務運營質量面臨三大挑戰：

• 全鏈路數據服務環節衆多複雜，問題定位困難
• 業務服務故障，回溯數據問題很是困難
• 數據平臺異常，如何快速評估影響面

解決方案：基於數據+業務血緣構建全鏈路質量保障體系

數據治理-血緣構建

數據與業務血緣關係鏈構建過程:

數據治理-血緣應用效果

• 構建數據與業務血緣，保障數據全鏈路服務質量SLA達99.99+%
• 1min內告警並評估影響面和問題快速定位

資產運營-成本管理

資產運營-數據生命週期管理

無數據生命週期管理會出現：

• 數據無序增加
• 成本快速上升
• 計算效率低下
• 數據維護困難

隨時間推移，數據使用價值不斷衰減，數據在線度就是反應數據的在線程度和使用衰減狀況影響數據在線度的因素：數據使用價值和數據重要等級，而數據使用價值有跟數據訪問熱度和應用廣度有關，數據在線度的關聯函數爲：
𝒚(𝒕) = 𝒇(𝑽(𝒕), 𝑰)
其中𝑽(𝒕)爲數據使用價值， 𝑰爲數據重要等級數據生命週期管理策略隨在線度的變化而變化。

資產運營-數據安全管理

遊戲數據資產安全管理 「四大」 關鍵舉措：

數據驅動-數據價值評估

實施數據價值評估的意義

• 衡量業務的投入產出比
• 衡量數據發揮的做用
• 爲產品提供運營決策依據
• 衡量數據服務平臺能力水平

數據價值評估的難點

• 行業內無統一標準和方法
• 公司內缺少可量化的估值體系
• 數據價值存場景化差別性

數據價值評估：

投入產出比ROI計算

結合數據成本與價值，計算數據服務平臺投入產出比，爲市場化數據管理運營提供直接依據

推進數據成本優化

減小投入，推進業務方實施數據服務成本優化

數據深度挖掘到精細化場景落地

放大價值，橫向對比同類產品，協助業務方結合數據服務，發掘更多業務服務場景

數據資產管理實踐步驟

總結：

聲明：本號全部文章除特殊註明，都爲原創，公衆號讀者擁有優先閱讀權，未經做者本人容許不得轉載，不然追究侵權責任。

關注個人公衆號，後臺回覆【JAVAPDF】獲取200頁面試題！
5萬人關注的大數據成神之路，不來了解一下嗎？
5萬人關注的大數據成神之路，真的不來了解一下嗎？
5萬人關注的大數據成神之路，肯定真的不來了解一下嗎？

歡迎您關注《大數據成神之路》