數據中臺在阿里巴巴集團內部的實踐狀況

做者：品鑑
數據中臺門在阿里巴巴集團幹什麼的，由哪一個部門掌管？數據中臺在阿里巴巴的主要做用是什麼呢？外面吹噓這麼神祕的數據中臺在阿里實踐的如何呢？今天小編正好要採訪數據技術及產品部門裏面一個老大，帶你們來一探究竟。

剛一開頭，老大就陷入沉思，沉重的說：「數據技術及產品部門在阿里巴巴集團其實已走過16個年頭，掌管着全集團的數據資產，那麼多年的積累，幫助阿里創建起了一套完整的數據體系，對業務有全面的支撐。」整個數據中臺從基礎設施，基礎數據技術起步，到數據資產管理；從內部的數據挖掘到體系規範、標準、流程和體系制定；外部產出從數據可視化技術到數據應用，使得內部的小二從方方面面都感覺到數據中臺的真實存在。

數據技術及產品部門歷史

說到數據中臺不能不說阿里的底層基礎架構的紮實程度，數據中臺基於阿里雲的基礎設施，使用了Maxcompute大數據平臺、Analysis database、HBase、ECS等基礎組件，基於這些基礎組件之上，數據技術及產品部門的智慧工程師們開發了數據資產，它管理着全域大數據，統一的數據建設、管理、服務，服務阿里外部千萬用戶和內部業務給全集團小二們方便使用全集團的數據，固然這些都有嚴格的安全和權限管理哦，只有有須要的小二才能夠看到和使用哦！

數據技術及產品部門聚集了各類數據，所以數據官們開發了各類各樣的數據技術幫助業務部門實現快速而準確的數據，你們耳熟能詳的oneID技術、反做弊技術、牛逼的雙十一實時計算大屏技術等都是數據技術及產品部門小二們開發的哦，很是讚的科技！這些牛逼的技術幫助阿里實現了各類場景的對外和對內的數據應用，數據挖掘技術產出幫助阿里小二們更好的對業務做出判斷，實現更好的營銷，對外賦能生意參謀產品，使得商家對天貓和淘寶小店的業主們瞭解本身的生意，生意參謀經過生意背後一盤數據的數據產品服務。基於全渠道數據融合、全鏈路數據產品集成，爲商家提供數據披露、分析、診斷、建議、優化、預測等一站式數據產品服務。目前，生意參謀服務的商家已經超過2000萬，月服務商家超過600萬；在月成交額30萬元以上的商家中，逾90%在使用生意參謀，這但是一個很是高的比例喔！

生意參謀截圖

得益於阿里巴巴生態和業務體系，阿里數據沉澱了包括電商交易、搜索、物流、支付、廣告、風控、移動、視頻等種類多樣的高質量數據，所以產生了各類數據應用爲不一樣的部門和外部客戶提供各類數據服務，採訪領導講，這些應用實在太多了，有爲公司高管決策服務的數據挖掘分析產品；有爲品牌廠商提供人羣分析的品牌銀行數據服務；有爲集團服務的OneID查詢，經過算法和深度挖掘實現的人羣畫像服務；爲其餘部門Web或App端開發規範和數據採集的數據埋點和採集系統；甚至還有爲阿里雲的用戶實現敏捷報表開發的QuickBI產品…，哎呀呀，什麼生意參謀、quickBI，Dataphin、FBI、可視化埋點、品牌銀行、企業參謀，數據質量，數據資產…巴拉巴拉幾十個名字，一大串數據產品名字，小編快記不過來，臨了領導還提醒小編要保密哦。不過最後小編看到一個叫阿里數據的產品，印象深入，這可真是一個寶貝，讓小編有」一機在手，全盤掌握」的感受。

不少人都覺得數據技術及產品部門是一個ETL或數據處理部門，其實數據技術及產品部門大部分人都是碼農哦，他們用最新的技術打造最好用的數據，你們都知道開源的流處理Flink吧，它是流處理技術的後期之秀哦，如今看幾乎已經要戰勝sparkstreaming，storm等前輩，之因此被碼農們廣泛接受，很重要一點就是阿里的工程師在flink上實現了SQL編程，貢獻給社區，讓流計算開發變得簡單、易用。這些阿里貢獻給社區的還有不少，好比DataX，Hadoop等，另外一塊你們看的眼饞的是數據可視化技術、阿里利用最新的Web端技術、2D、3D的自由發揮，大規模的數據量繪製，藉助圖形化手段，清晰有效的出阿達數據意義，這塊在阿里雙十一零點那刻發揮的淋漓盡致。

雙11全球狂歡節數據屏

數據技術及產品部門不只數據應用和數據產品作得好，阿里還很是重視體系，組織和標準化的建設，你要知道阿里巴巴是一個10萬人的大經濟體，阿里的數據服務涵蓋全部部門，所以標準、數據規範、採、建、管、控、用的流程很是重要，須要有一個體系，一整套標準來保障阿里數據運行和業務發展，這套標準體系但是阿里的寶貝，不輕易對外的。

數據技術及產品部門除了產品作的好、數據質量高外，也不是一個封閉固步自封的小團體，他還很是重視數據生態圈建設，以開放、分享、賦能爲己任，以開放、分享的心態，將阿里在大數據上沉澱多年的經驗和能力，賦予阿里外部千萬用戶和內部業務，幫助商家、中小創業者、傳統企業等共同發展、繁榮，與不少院校創建了聯繫，部分紅果開源社區，讓你們來分享你們的成功，若是你們想也建設一套數據中臺，能夠看一下Dataphin、QuickBI、企業參謀、可視化埋點採集系統，這些都是數據技術及產品部門經過阿里雲輸出的標準產品，海底撈，飛鶴、南方航空、大潤發等一大波企業已經在用了哦！

除了基礎、技術、產品、數據、標準外，數據技術及產品部門造成一套數據中臺方法論體系，OneData數據中臺是其中一個高度歸納，它解決了IT部門數據開發的高人力成本、數據錯誤、浪費資源、雜亂無章、效率低下等這些常常出現的問題，OneData都能輕鬆解決，說到這裏，小編以爲其實外面說的大數據平臺落地難，實施難其實最缺少的就是阿里的OneData數據中臺啊！

總之，數據技術及產品部門依託於豐富的數據資產和強大的技術能力和對數據分析、挖掘能力，充分應用到實際業務中。經過算法，深度挖掘人羣畫像等，並沉澱出一系列優質數據，爲阿里的業務創新應用提供數據決策基礎和依據。爲阿里發揮大數據的價值奠基堅實基礎。

結尾：
阿里巴巴數據中臺團隊，致力於輸出阿里雲數據智能的最佳實踐，助力每一個企業建設本身的數據中臺，進而共同實現新時代下的智能商業！
阿里巴巴數據中臺解決方案，核心產品：
· Dataphin，以阿里巴巴大數據核心方法論OneData爲內核驅動，提供一站式數據構建與管理能力；
· Quick BI，集阿里巴巴數據分析經驗沉澱，提供一站式數據分析與展示能力；
· Quick Audience，集阿里巴巴消費者洞察及營銷經驗，提供一站式人羣圈選、洞察及營銷投放能力，鏈接阿里巴巴商業，實現用戶增加。
歡迎志同道合者一塊兒成長！dp.alibaba.com

 

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。