簡介:阿里巴巴數據中臺的解決方案是在引入數據安全等級打標的基礎上,實現數據智能審批,經過可信模型構建和風險量化,讓智能流程代替繁瑣人工。以Dataphin爲例,做爲阿里巴巴集團數據治理方法論基於內部實踐的產品化輸出,它能夠爲企業提供一站式數據採、建、管、用全生命週期管理的能力,以助力企業顯著提高數據治理水平,構建質量可靠、消費便捷、生產安全經濟的企業級數據中臺。
-更多關於數智化轉型、數據中臺內容請加入阿里雲數據中臺交流羣—數智俱樂部 和關注官方微信公總號(文末掃描二維碼或點此加入)html
-阿里雲數據中臺官網 https://dp.alibaba.com/index前端
今年正值三年發展規劃的收官之年,包括銀行、證券、保險在內的金融機構的數字化轉型的緊要性進一步凸顯。segmentfault
阿里巴巴雲上數據中臺負責人王賽在今天舉行的2021阿里雲金融數據智能峯會上透露,阿里巴巴數據中臺建設的經驗,或許能夠給金融企業數智化轉型帶去一些借鑑。安全
阿里巴巴雲上數據中臺負責人 王賽微信
2015年,阿里巴巴正式提出數據中臺戰略,這也是數據中臺這一律念在國內首次亮相——但在更早以前,阿里巴巴其實就有動做。架構
王賽表示,早在2011年,阿里巴巴就從新梳理並重建了內部數據團隊,以「業務版塊+分析維度」爲架構構建數據中心。2013年,統一的數據服務中間件OneService正式誕生,通過深度加工後的數據能夠由OneService爲前端各業務提供統一的數據服務。運維
在他看來,阿里巴巴數據中臺建設毫不是一簇而就,而是面對阿里巴巴集團內部複雜場景以及多樣需求,必須完成的一條數智轉型通路。工具
這些場景和需求能夠概括爲六大類,分別是:數據質量與安全、數據價值、產品工具沉澱、成本管控、組織與運營、質量與考覈。大數據
數據質量與安全主要集中於四方面,首先是一致性,面對同一份數據,各個業務的定義口徑不一致,這爲後期開發、分析、應用帶來極大困擾,所以數據中臺首先要解決的就是指標標準化定義,並在此基礎上實現代碼總動化構建和數據結果產出;其次,是數據資產深度問題,經過數據深度融合與打通,數據中臺可以爲業務一線員工提供全方位的市場信息,並進行價值評估;再次,是保障數據及時性,經過數據運維基線管理和移動辦公協同,數據中臺可以保證業務部門及時獲取多維過程及結果數據,即使是在移動辦公場景,也能保證可實時查看相關數據;最後,是聚焦數據流通安全,核心要解決數據安全審批權限定義和在保障數據安全的基礎上較少審批工做量兩項問題,阿里巴巴數據中臺的解決方案是在引入數據安全等級打標的基礎上,實現數據智能審批,經過可信模型構建和風險量化,讓智能流程代替繁瑣人工。ui
另外一方面,數據價值主要體如今經過數據賦能,幫助平臺增加、商家成長和員工提效。
值得注意的是,阿里巴巴數據中臺建設的過程中衍生出很是豐富的產品矩陣,用以應對繁雜的業務場景和個性化的崗位需求,如針對雙11場景的媒體大屏、面向管理層決策的分析類數據產品等等。
同時,積極建設數據人才培養體系,成立「數據委員會」讓各業務數據崗位員工能夠造成高效聯動與信任,並凝鍊、傳播科學有效地數據文化。
而在整個數據中臺建設的過程當中,王賽強調,「咱們還提煉出數據中臺價值地顯性化表達,從用戶價值與體驗、資產沉澱、經營等多方位視角,來反覆驗證KPI、人員及預算地設定,這是一個動線過程。」
阿里巴巴數據中臺在歷經多年內部實踐後,於2018年正式經過阿里雲全面對外開放數據中臺能力,迄今已在金融、零售、政務、互聯網等行業成功落地。
阿里雲新金融&互聯網事業部總經理劉偉光早前在接受媒體採訪時表示,對企業來講,阿里雲數據中臺具有兩大獨有優點,「首先是工具的豐富性,阿里雲數據中臺產品集合了市面上全部的工具,從工具層面,從數據處理層面,到上層應用層面,到數據的使用層面,到BI層面,到決策層面,能夠說面面俱到。」
阿里雲新金融&互聯網事業部總經理 劉偉光
目前,阿里雲數據中臺已經造成以Dataphin、Quick BI、Quick Audience等產品爲主的核心產品矩陣。
以Dataphin爲例,做爲阿里巴巴集團數據治理方法論基於內部實踐的產品化輸出,它能夠爲企業提供一站式數據採、建、管、用全生命週期管理的能力,以助力企業顯著提高數據治理水平,構建質量可靠、消費便捷、生產安全經濟的企業級數據中臺。
同時,Dataphin提供多種計算引擎支持及可拓展的開放能力,能夠適應各行各業的平臺技術架構和個性化訴求。
聚焦金融行業,做爲數字化起步較早的行業,銀行、證券、保險等行業數據平臺的建設週期和歷史不比互聯網行業時間短,對於數據使用積累了必定的經驗,然而依舊難以免數智轉型地陣痛。
核心體如今數據標準問題、數據質量問題、需求相應問題、成本資源問題四方面:
數據標準問題:煙囪式開發及局部業務服務支撐,致使指標同名不一樣口徑問題頻發;歷史上不一樣業務系統逐步迭代上線,相同對象屬性編碼不一致等問題突出;
數據質量問題:重複建設致使任務鏈冗長、任務繁多,計算資源緊張,數據時效性很差;口徑梳理定義的文檔沉澱到開發代碼實現之間存在脫節,數據準確性保障風險高;
需求響應問題:煙囪式開發週期長、效率低,面向應用的服務化不足,致使業務響應速度慢,業務不滿意的同時技術又以爲沒有沉澱與成長;既懂業務又懂數據的人才不足,需求理解到開發實現涉及大量溝通,服務效率較差;
成本資源問題:煙囪式開發的重複建設浪費技術資源;上線難下線更難,源系統或業務變動不能及時反映到數據上,加之數據不標準,研發維護難上加難的同時,大量無用計算和存儲形成資源浪費。
這也和阿里巴巴數據中臺建設時期所面臨的難點不謀而合。
阿里巴巴經過實踐經驗提出的數據治理方法論,可以幫助企業捋清了數據全生命週期的管理思路,更將其植入到產品Dataphin(智能數據構建與管理)中,經過阿里云爲企業提供服務。
正因如此,Dataphin除了大數據處理全鏈路涉及到的數據集成、開發、發佈、調度、運維能力,同時還將爲企業提供數據規範定義、邏輯模型定義、代碼自動化生成、數據主題式服務能力,高效地完成好數據的構建。
也正是基於Dataphin產品的能力,財通證券打通既有多個系統數據,實現數據及時接入及標準統一,整合加工處理後,基於市場形態完成包括「金融屬性」「產品類型」等在內的300多個數據標籤。
數禾科技也在長達7個月的共創共建後,完成傳統數倉體系地重構升級,統一數據資產管理平臺,同時藉助項目全面梳理了公司核心業務流程,將全部的業務過程及背後對應的數據串聯起來,統一一套信息系統,每一個業務過程在信息化平臺都能看到具體的數倉表、指標、指標當前的值、環比同比等信息,一旦這些指標出現異常,就能夠快速自動化歸因,定位問題環節,創新性創建了數據運營模式。
數禾科技大數據負責人萬鵬說道:「阿里雲數據中臺自帶One Service數據接口服務,以前咱們自研的數據平臺,面向線上業務提供數據接口的鏈路太長太複雜,目前經過阿里雲數據中臺產品Dataphin構建數據輸入輸出的鏈路既通暢又迅速,產品自己自帶集成通道。」
而除了Dataphin,阿里雲數據中臺還在全域運營、數據可視化分析等多個領域,面向金融機構提供專業產品服務。
大數據的本質是數據的融合,阿里雲數據中臺把本來各自孤立的數據互相關聯、融合,經過抽象、加工構建數據資產類目體系,從而賦予數據更深層次的語義和價值,洞察事物的本質。
過去一年,它在技術能力上已然完成重大升級——率先實現「湖倉一體」,經過協同工做架構,引領下一代大數據處理平臺的演進方向;經過融合圖計算、時序計算、隱私計算等,大幅提高平臺數據智能能力,幫助客戶進行智能化決策。
而在三年發展規劃臨近收官的這一年,數據中臺必將給予金融行業的數智化轉型更多可能。
數據中臺是企業數智化的必經之路,阿里巴巴認爲數據中臺是集方法論、工具、組織於一體的,「快」、「準」、「全」、「統」、「通」的智能大數據體系。
目前正經過阿里雲對外輸出系列解決方案,包括通用數據中臺解決方案、零售數據中臺解決方案、金融數據中臺解決方案、互聯網數據中臺解決方案、政務數據中臺解決方案等細分場景。
其中阿里雲數據中臺產品矩陣是以Dataphin爲基座,以Quick系列爲業務場景化切入,包括:
官方站點:
數據中臺官網 https://dp.alibaba.com
釘釘溝通羣和微信公衆號
本文內容由阿里雲實名註冊用戶自發貢獻,版權歸原做者全部,阿里雲開發者社區不擁有其著做權,亦不承擔相應法律責任。具體規則請查看《阿里雲開發者社區用戶服務協議》和《阿里雲開發者社區知識產權保護指引》。若是您發現本社區中有涉嫌抄襲的內容,填寫侵權投訴表單進行舉報,一經查實,本社區將馬上刪除涉嫌侵權內容。