企業數字化轉型的戰鬥正酣,釋放數據價值成爲企業當前的核心任務,大數據賽道上的選手們各出絕活,力求收穫本身的金角銀邊。7月26日,2019網易雲創峯會在杭州召開,網易大數據在會上發佈了全鏈路大數據產品網易猛獁6.0,網易大數據總經理餘利華表示,猛獁6.0經過整合全鏈路數據質量監控、全鏈路資產分析和全鏈路數據發現等一系列能力,解決了當前大數據實踐中的各類痛點,使得企業的工做重心可以迴歸到數據分析自己,從而快速汲取數據的能量實現高效增加。安全
圖:網易大數據總經理 餘利華運維
網易猛獁6.0直擊大數據落地五痛點
若是把數據價值比喻爲山巔誘人的果實,那麼摘取果實的路上每每是荊棘密佈,這也是此前Hadoop、Spark等大數據技術備受關注的重要緣由。網易大數據也憑藉自身在大數據領域的技術積累,基於Hadoop打造了猛獁大數據管理和應用開發平臺,完成了數據集成、任務運維、實時開發、離線開發等功能的開發,並於2018網易雲創大會上發佈。
然而,餘利華指出,目前企業在大數據實踐中仍然存在着五大痛點,包括指標口徑不一致、數據重複建設、取數效率低、數據質量故障頻繁和成本指數級增加等。他分享了一個指標口徑不一致的真實案例:某客戶分別在供應鏈系統、VIPApp和商品運營系統中查詢某款產品的毛利,看到的是32%、28%、38%三個大相徑庭的數字,這給數據分析工做形成了極大的困擾。
這些困擾,直接致使了企業80%的工做都與數據分析無關。餘利華認爲,僅有Hadoop平臺是不足以解決這些痛點的,企業須要全鏈路打通能力,而猛獁6.0的使命,就是提供全鏈路數據解決方案,賦能企業來應對挑戰。
五大系統構築全鏈路數據護城河
網易大數據這次發佈的猛獁6.0,在此前的大數據平臺產品基礎上,提供了指標系統、數據服務、數據地圖、數據質量中心、資產管理中心等全新的系統,全部這些系統造成了全鏈路大數據解決方案,可以支撐企業數據中臺建設,保護企業的大數據之旅免受前述五大痛點的侵襲。餘利華分別介紹了全鏈路「五大金剛」獨特的軟實力。
老大指標系統,猛獁6.0從業務口徑、計算口徑和數據來源三個層面着手,採用統一的管理規範,並引入審批機制,最終實現100%消除指標口徑不一致,指標數量減小50%,同時理解一個指標的含義時間縮短80%。
老二數據服務,經過數據API、訪問日誌、受權認證、支持多種查詢引擎、支持邏輯模型等加持,除了協助老大實現100%消除指標口徑不一致,還消除了數據字段變動與應用的強綁定,經過創建數據產品到指標的鏈路追蹤,明確了應用到表的訪問鏈路,避免底層表暴露給數據產品。使得數據接入效率提高10倍以上。
老三數據地圖,是破解不知道哪些數據可用、不知道到哪裏查數據、不知道數據含義這「三不知」的一把好手,經過數據地圖,企業能夠告別取數低效的煩惱,快速搜數據、查數據,實現100%自助取數,取數效率提高可達300%。
老四數據質量中心,則是規避錯誤數據致使錯誤決策的行家。餘利華分享說,某客戶因爲代碼bug致使部分商品交易數據缺失,客戶根據不完整的數據分析結果制定了背離實情的運營策略,形成了高達數百萬的損失。他斷言,70%的數據不可用都是由數據質量致使。猛獁6.0數據質量中心從數據稽查、質量度量,以及覆蓋數據產品完整數據鏈路的全鏈路監控三個方面的努力,實現了99.8%的數據可用率——也就是在規定時間正確地產出數據,同時70%的數據不可用都被監控提早發現,故障修復速度也提高了100%——在此以前,90%的不可用是由數據使用方發現的,單次故障平均不可用時間則達到了6.5個小時。
老五數據資產中心,基於元數據中心的構建,經過資產分析、追蹤數據價值,消滅低價值的資產,將成本節約20%以上,有效幫助企業實現成本管控。在成本的增加速度超過業務增加速度的企業而言,老五的能力可謂不可多得的及時雨。
五大金剛的能力,已經在網易考拉等複雜業務場景中獲得驗證。因此,五大金剛的發佈,對於企業而言多了一個粉碎大數據落地應用五大痛點的手段,而對於網易大數據的市場競爭而言,一樣也是構築了一道難以逾越的護城河。
全鏈路大數據產品助力數字化轉型
餘利華強調,經過猛獁6.0,網易大數據完成了全鏈路打通能力,可以幫助企業客戶實現全鏈路的數據質量監控、全鏈路的數據資產分析以及全鏈路的數據發現,從而讓企業較爲輕鬆地構建統一的、安全的、共享的企業數據資產體系,實現一切業務數據化,聯通數據孤島,驅動一切數據業務化,助力數字化轉型,讓數據產生價值。
「有了全鏈路大數據產品,企業能夠將80%的工做投入商業分析,直接產生業務價值,而數據開發、數據治理只需佔用20%的工做量。」餘利華總結說。oop