當前數字經濟領域最受關注的技術趨勢當屬中臺,到底中臺對企業發展的意義何在,企業應當如何建設中臺?7月26日,網易雲在本屆雲創峯會上給出了完整的答案,從組織、技術、方法論的角度系統闡述了網易杭州研究院的中臺實踐與成果,併發布了全鏈路大數據產品和輕舟微服務產品,分別爲企業構建數據中臺和在線業務中臺提供完整的技術和方法論支持。
在主題演講中,網易副總裁、網易杭州研究院執行院長汪源首次介紹了網易對中臺的理解,他表示:中臺的本質是業務能力的沉澱,它對於企業提升需求響應、下降定製成本、實現彈性穩定、實現系統互通、提高運營效率和下降資源成本具備獨特的優點,而中臺的成功建設,須要組織、技術和相應的方法論的支撐,同時因爲業務的複雜性,企業每每還須要藉助專業的諮詢服務,才能順利建設中臺。
據悉,網易是業界惟一經過設立研究院專職培育創新業務的公司,網易杭州研究院(如下簡稱杭研)同時肩負着能力沉澱和業務創新兩大職能,成功孵化了網易考拉、網易嚴選、網易雲音樂、網易雲等業務。因爲發展的業務衆多,杭研自然具有建設各類共性能力的訴求,不少能力天然而然就建設成了中臺的形式。汪源認爲,這些能力(中臺)的沉澱,可以幫助企業駕馭雲計算、微服務、大數據、人工智能和物聯網等技術革新成果,並造成核聚變的能量,促進企業數字化創新,推進產業發展乃至社會經濟升級。算法
圖:網易副總裁、網易杭州研究院執行院長 汪源
明晰中臺內涵與實踐路徑,首提技術核聚變
隨着IoT將互聯網能力延伸到生產端,例如基於IoT的網易疾風工業智能平臺讓工業企業解決生產管理頑疾,企業對新技術、新數據價值的挖掘愈發期待,中臺的價值也被更多企業關注。在國內,一些本來的平臺,也隨之搖身一變成了所謂的技術中臺、算法中臺、移動中臺、研發中臺,汪源將之稱爲「中臺亂象」,他表示,中臺必須具有業務屬性,沒有業務屬性的,即便支撐多個前臺業務,好比一堆技術組件,也只是平臺而不是中臺。在汪源看來,全部的中臺都是業務中臺,數據中臺是業務中臺的特殊形式,而用戶中臺、內容中臺則是數據中臺的特殊形式。
因爲當前數字技術革新很快,明確技術概念的職責與內涵,對技術項目的成功實踐相當重要。中臺也是如此,若是概念過於寬泛,或者混淆,企業容易對中臺失去信心,從而在數字化創新中錯失良機。汪源的梳理,爲企業對中臺的判斷提供了直觀的標準。「網易除了有能力,也有責任來分享中臺經驗。」汪源說。
對於中臺的建設,汪源認爲,組織、技術和方法論三者不可或缺。從組織的角度,他認爲,中臺須要整合資源,讓懂業務的人蔘與,其次,在BU、BG、企業、集團各個層次均可以建設中臺,但必須是各層次的一把手工程,不然難以調配資源。
技術層面,建設在線業務中臺須要微服務、DevOps、分佈式事務和雲原生技術體系的支撐,建設數據中臺則須要指標管理、數據服務、元數據管理、數據倉庫開發與管理、數據質量管理、數據安全管理、數據資產管理,以及大數據計算引擎、數據集成/同步/交換引擎、敏捷BI系統等一整套典型的支撐技術。
做爲能力的沉澱,除了工具,中臺無疑須要流程/規範/方法論。目前業界存在許多相關的方法論,如六邊形理論、領域驅動設計(DDD)、指標設計方法論等,但大都與技術相關,在中臺組織層面尚無成熟的方法論。基於杭研的實踐經驗,汪源在業界首次提出了一套完整的中臺組織方法論。
根據參與人員的差別,汪源把不一樣類型的組織總結爲「胖中臺組織」、「標準中臺組織」和「平臺組織」——標準中臺組織由各個能力組和工具、規範/流程/方法論組成;當標準中臺組織對業務的介入程度不足以支撐中臺的實現,就須要更加接近業務的定向組來參與,這就造成了胖中臺組織;而能力臻於成熟,工具、流程都實現標準化,標準中臺組織也能夠退化成平臺組織。換言之,三個角色並不是一成不變,而是處在動態變化之中。事實上,不只僅是杭研,不少大型互聯網公司都或多或少經歷過相似的重組。與會者認爲,中臺組織方法論的梳理,爲中颱組織的建設和將來撥開了迷霧。
對於中臺的發展,汪源還總結了一個「數字技術核聚變」的模型。他表示:數據中臺匯聚和整合業務數據,產生洞察指導業務創新,在線業務中臺支撐業務圍繞領域交匯,不斷引入新技術,創造新數據,爲數據資產增值裂變提供動力支持,數據中臺和在線業務中臺共生共存,造成數字技術核聚變的巨大能量,推進產業跳躍式進化。
全鏈路大數據產品發佈,數據中臺可實現100%標籤覆蓋
爲了全面支撐企業數據中臺建設,爲業務應用提供統一的數據和服務,網易發佈了全鏈路大數據產品——網易猛獁6.0。網易大數據總經理餘利華分享了一個真實的客戶案例:某客戶在供應鏈系統、VIP App和商品運營系統中看到的同一款產品毛利分別是32%、28%、38%三個迥然不一樣的數字,這給數據分析工做形成了極大的困惑。餘利華指出,目前企業在大數據實踐中存在指標口徑不一致、數據重複建設、取數效率低、數據質量故障頻繁、成本指數級增加等五大痛點,這致使了企業80%的工做都與數據分析無關,而數據中臺就是瓦解這一癥結的良方。
圖:網易大數據總經理 餘利華
網易大數據這次發佈的猛獁6.0,在此前的Hadoop、數據集成、任務運維、實時開發、離線開發產品基礎上,新增了指標系統、數據服務、數據地圖、數據質量中心、資產管理中心、數據倉庫開發與管理等全新的系統,這就實現了數據中臺的全鏈路打通,實現全鏈路數據質量監控、全鏈路數據資產分析、全鏈路數據發現。
這些系統的能力,以指標系統爲例,猛獁6.0可以100%消除指標口徑不一致,讓指標數量縮減50%,而且理解一個指標的含義的時間縮短80%。
而據汪源介紹,猛獁6.0已經成功應用於網易考拉等業務,經過數據中臺的建設,實現了100%的數據產品指標覆蓋、99.8%的數據可用率、100%的自助取數和20%的成本節省。
「有了全鏈路大數據產品,企業能夠將80%的工做投入商業分析,直接產生業務價值,而數據開發、數據治理只需佔用20%的工做量。」餘利華總結說。
安全
輕舟微服務平臺升級,突破在線業務中臺的異構挑戰
在線業務中臺有助於業務能力複用、加速業務創新和促進數字化轉型。現實的問題是,信息隔離、數據隔離等因素,阻礙着在線業務中臺的建設。網易雲基礎服務總經理陳諤認爲,異構系統整合,包括兼容、通訊和系統間事務一致性,和多供應商建設,包括多團隊協做、軟件資產沉澱,是目前企業在建設在線業務中臺過程當中遇到的最大障礙,而網易輕舟微服務新品的發佈,正是要經過Service Mesh、分佈式事務框架GTXS、全新API網關與原有輕舟產品的整合,完成全棧化在線中臺技術體系升級,幫助企業完成業務架構的進化,支撐業務快速創新。
圖:網易雲基礎服務總經理 陳諤
陳諤介紹,輕舟Service Mesh基於CNCF(雲原生計算基金會)的Istio和Envoy等主流開源技術構建,能夠實現Java、Python、NodeJS、Golang和PHP等不一樣技術棧的兼容和通訊,可以與已有微服務框架NSF統一管控、互相發現、互相調用,而且支持容器、虛擬機和裸機部署,將異構系統的支持實現到了業界領先的程度。在性能方面,輕舟Service Mesh也實現了時延下降50%的優化效果,以便更好地知足在線業務的用戶體驗。GTXS則經過聲明式事務框架,實現了對開發人員更加友好的分佈式事務方案,保證了不一樣微服務的數據一致性,與經常使用的TCC模式相比,接入效率提高了85%,目前已在工商銀行、網易嚴選等大型生產環境中穩定運行。
據汪源介紹,在網易內部,經過電商、音樂等在線業務中臺的建設,實現了需求響應效率提高100%、應用部署效率提高280%、軟件產品質量提高52%的效果,其中電商應用日均部署1374次,音樂應用日均部署492次。
爲了確保這些複雜技術在企業落地應用,網易云爲客戶提供了全流程的服務,覆蓋DevOps最佳實踐、可擴展性架構設計、微服務化拆分、治理建設、技術支持和高級運維等各個層面。其中,諮詢服務已經在工商銀行、國家電網、申萬宏源、大華科技、德邦快遞、百勝中國等企業的雲平臺建設、中臺建設和架構演進等項目中開花結果。架構