華爲雲FusionInsight MRS在金融行業存算分離的實踐

摘要：華爲雲FusionInsight MRS的大數據存算分離解決方案，實現資源價值最大化，存儲與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。

在大數據、雲計算、5G、AI等技術突飛猛進，數字經濟加速發展的背景下，數據成爲新的生產資料，數字化轉型成爲政企高速發展的關鍵。做爲數字化轉型的先行者，金融行業利用大數據平臺進行客戶體驗提高、精準營銷等業務。這些大數據平臺在金融行業業務中發揮着相當重要的做用，但龐大的數據量也給他們帶來了新的挑戰，企業在大數據平臺的建設及擴容方面每一年均保持着必定規模的投入，降本增效的矛盾在發展過程當中進一步被放大；海量數據驅動業務敏捷響應，傳統大數據平臺從建設到落地的長週期，不利於業務的高速發展；平臺建成後，維護、升級、擴容均以集羣爲單位，管理離散，操做繁重。

傳統大數據平臺建設採用存算一體的架構建設，在進行擴容時計算、存儲資源會同步擴充，在部分場景下形成了資源冗餘，利用率偏低。基於此，中國工商銀行（如下簡稱工行）聯合華爲雲FusionInsight MRS落地大數據存算分離解決方案，實現資源價值最大化，存儲與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。

存算分離實現成本下降60%

工行大數據平臺批量業務廣泛採用存算一體架構，原始數據、數據表、導出數據均存儲在本地HDFS，在現網部分批量集羣中，CPU利用率50%，而存儲利用率超過70%。

工行採用了華爲雲FusionInsight MRS大數據存算分離方案，實現了大數據平臺與OBS對象存儲服務的對接，將原有的HDFS數據無縫遷移到OBS上。在保證性能的前提下，實現了計算與存儲獨立按需擴容，輕鬆應對業務浪涌，提高資源總體利用率。

大數據存算分離演進示意圖

這次實踐不只實現了計算與存儲資源的按需擴容，還在存儲、計算和易用性方面作到了最優。

存儲方面，工行原有大數據平臺使用HDFS存儲數據，1:3的備份方式使得較多存儲空間被消耗，華爲獨有的Flex-EC技術可將副本率下降至1:1.25，存儲資源優化提高2.4倍。在雲存儲性能上，單流性能達到300MB/s，爲業界的3倍+。

計算方面，華爲雲基於存算分離的大數據解決方案進行軟硬件垂直優化，充分利用自研處理器的高併發能力，提供芯片級的全棧自主優化能力，使用華爲自研的操做系統EulerOS、華爲JDK及數據加速層，充分釋放硬件算力，爲大數據計算提供高算力輸出，實現高性價比。在性能至關狀況下，端到端的大數據解決方案成本降低。

易用性方面，華爲雲OBS實現了原生POSIX語義，並補充了Append，hFlush/hSync、HDFS垃圾桶機制，rename原子操做性能，大幅領先業界同類產品。這些都使得用戶能夠平滑、無感知的從原有平臺切換到存算分離平臺。

集羣快速發放，業務敏捷上線，運維省心省力

傳統大數據平臺的羣部署，依賴 「硬件->操做系統->組網->大數據平臺」的部署模式，部署週期以周粒度計算，並涉及多個業務部門協同操做。針對擴容、業務遷移和後期運維，也是「一集羣一方案」的操做模式，工做量大，物料和人工成本都偏高。

工行聯合華爲雲部署的存算分離大數據解決方案，全面兼容主流的大數據生態，100%兼容開源原生接口，結合周邊豐富的數據及應用遷移工具，基於MRS WrapperFS的特性，提供OBS的翻譯能力，兼容HDFS到OBS的平滑遷移，快速完成大數據平臺的平滑遷移至存算分離架構，整個遷移過程作到「代碼0修改，業務0中斷」。

雲端集羣快速發放特性，能夠實現小時級集羣發放，提高效率數10倍，同時具有後臺、前臺和API接口三種任務提交模式，快速對接業務。針對後期擴容、運維場景，經過統一的運維管理平臺， 對多個大數據集羣進行集中運維管理，並可以實現資源的彈性伸縮和靈活擴容。

總結：

中國工商銀行大數據平臺全面構建在IaaS雲之上，本次華爲與工行聯合創新藉助新一代華爲雲底座進行存算分離架構試點工做，全面驗證了全新架構下的產品功能、技術水平和性能情況，全方位評估存算分離架構的優缺點，總結經驗，積累技術實力，爲後續工行大數據平臺演進至下一代「存算分離」與「存算一體」協同混合架構打下堅實基礎，併爲金融業大數據平臺架構轉型提供成熟解決方案。

本次存算分離實踐順利實施標誌着工行首次完成大數據體系由存算一體架構向「存算分離」與「存算一體」協同混合架構的轉型工做，全新的架構具備性能與成本最優，兼具靈活性、雲化集約管維的特色，可以有效地支撐中國銀行業智慧化轉型，同時爲全國金融同業大數據平臺架構轉型實施提供參考。

本文分享自華爲雲社區《華爲雲FusionInsight MRS在金融行業存算分離的實踐》，原文做者：Sailing27 。

 

點擊關注，第一時間瞭解華爲雲新鮮技術~