數據資產管理在騰訊遊戲的實踐

數據資產管理在騰訊遊戲的實踐

陳才 大數據技術與架構

本文是由來自騰訊的陳才進行的分享。做者專一數據資產管理，自動化運維，AIOps。

騰訊遊戲大數據運營概況

每日傳輸量：17000億條，約260TB，總存儲量爲100PB+，公司佔比爲20%。
在遊戲大數據管控中，面臨着衆多問題與痛點：

• 數據多樣化，缺乏統一標準
• 計算邏輯理解一不致，致使統計結果有誤差
• 數據全鏈路質量問題，層次複雜、不能快速定位問題
• 遊戲數據管控的問題與難點
• 數據質量偏低給數據應用帶來的各類挑戰
• 數據標準缺少結構化管理，集成困難
• 數據分散，沒有造成完整的成本管理
• 數據價值的評估較爲困難
• 數據安全與合規保障的問題
  歷經6年在各階段解決的關鍵問題，構建遊戲大數據資產管理體系：
  

經過組織、流程、制度、技術等組合手段，確保數據交付的質量、效率、成本和安全，助力業務數據價值提高。

遊戲大數據資產管理體系

元數據管理

• 異構適配，集中存儲
• 業務指標，開放共享
• 描述數據，理解業務
• 自動構建血緣關係鏈
• 擴展能力，輔助運營
  

數據採集架構

• 單機： UDP：5W qps; KCP: 9w; TCP:10w
• 單機吞吐量：180Mbps
• 分佈式高可用，雙方擴容互不耦合
• 高可用，高可靠：擴容不丟失數據；WAL雙備數據
• 完整率: 99.99~99.9999%
• 多協議支持；多數據格式支持
• 專業數據管理、數據運維
• 周邊系統完善支持

  數據標準管理

數據治理面臨挑戰

數據服務運營質量面臨三大挑戰：

• 全鏈路數據服務環節衆多複雜，問題定位困難
• 業務服務故障，回溯數據問題很是困難
• 數據平臺異常，如何快速評估影響面

  解決方案：基於數據+業務血緣構建全鏈路質量保障體系

數據治理-血緣構建

數據與業務血緣關係鏈構建過程:

數據治理-血緣應用效果

• 構建數據與業務血緣，保障數據全鏈路服務質量SLA達99.99+%
• 1min內告警並評估影響面和問題快速定位
  

資產運營-成本管理

資產運營-數據生命週期管理

無數據生命週期管理會出現：

• 數據無序增加
• 成本快速上升
• 計算效率低下
• 數據維護困難
  

隨時間推移，數據使用價值不斷衰減，數據在線度就是反應數據的在線程度和使用衰減狀況影響數據在線度的因素：數據使用價值和數據重要等級，而數據使用價值有跟數據訪問熱度和應用廣度有關，數據在線度的關聯函數爲：