【華爲雲技術分享】大數據容器化成趨勢，華爲雲BigData Pro身先士卒

大數據的需求熱度，歷來都是這個時代的浪尖。然而因爲大數據系統的複雜性，一度致使業界大數據已死的各類聲音不斷。尤爲是當MapR被HPE收購，Cloudera公司股票持續跌成狗，使得這種聲音進一步放大。

其實，大數據的需求一直在，只是傳統的大數據實現系統須要考慮從新構建。而容器依靠其自身的標準化，一次構建，隨處運行的能力，使得很是適合大數據系統的構建和管理。容器技術當前正是那隻火遍全球的當紅辣子雞。

數據容器化，大勢所趨

目前已經有大量的大數據系統原生支on Kubernetes。例如Spark官方版本，從2.3開始，就能夠無需任何修改直接跑在K8s上。而且，將「更好的在k8s上運行」做爲後續版本的重要特性方向。可見k8s對大數據系統的影響多麼重要

 

隊友已在加速，你感覺到了麼？

因爲容器技術對大數據的這種良好助推做用，目前已經有很多技術嗅覺敏銳的頭部玩家，開始嚐鮮並從中撈取第一桶金。

例如：中國聯通的容器化大數據平臺實踐；京東在使用Kubernetes管理大數據中心；網易基於Kubernetes和Docker構建構建猛獁大數據平臺；茄子科技直接將大數據任務大量在生產環境跑在K8S之上；華爲雲DLI服務容器化，阿里雲Flink on K8s等。這些可見的信息都代表這個大方向已經開始加速了。若是你還在艱難的維護着你那龐大的大數據系統，那麼你須要停下里看看隊友們在幹什麼。

BigData on K8s 最直接的優點不是性能提高，而是成本的降低。

（1）高利用率的資源調度平臺。原來分散在多個集羣中的業務，能夠合併到統一的集羣中，加上長任務短任務混部，及不一樣業務高峯時間的削峯填谷，來最大化提高集羣資源利用率。

（2）統一的技術棧。原有的Yarn調度，節點管理技術，與當下宇宙標準K8s集羣調度系統，目標是同樣的。可是維護2種技術棧，就得增長研發人力成本，統一的基礎設施技術棧，降成本效果明顯。

（3）容器自動化能力。標準化是推進 IT 技術持續發展的原動力之一。容器技術自己理念就是一次構建，隨處運行，這個與標準化理念是一致的。經過容器技術的標準化實施，並整合容器生態，創建運維繫統。能夠很好的下降業務系統的運維成本，甚至運維工具自己的構建和使用成本。

容器+存算分離，要速度也要成本

當前的大數據計算將計算和存儲結合在一塊兒的模式，是分佈式架構構建的一種嘗試。可是當社區修改HDFS以支持Hadoop 3.0的ErasureCode（糾刪碼）時，即接受了：不(Wu)再(Fa)支持就近讀取的策略。它就表明了一種新趨勢：爲了適應不一樣場景，存儲空間和算力配比應該是靈活的，能夠分別獨立的構建。

IDC中國報告指出：「解耦計算和存儲在大數據部署中被證實是有用的，它提供了更高的資源利用率，更高的靈活性和更低的成本。」這一論斷與不少企業正在進行的大數據架構變革不謀而合。

同時，伴隨着容器技術的成熟及在各行業深刻普遍的應用，企業愈發意識到容器技術的優點能很好解決大數據平臺當前所遭遇的困境。容器以其更小顆粒度的算力分配、更輕量和快捷的部署方式、靈活的任務調度等特色，能夠進一步提高資源利用率，並輕鬆應對大批量任務併發時的算力擴容。

 

鯤鵬之上，火山助力

華爲雲自主研發的鯤鵬處理器，具有多核高併發能力，可爲用戶提供包括裸金屬服務器，雲服務器，容器和Serverless在內的多種粒度的算力，大數據分佈式場景性能可有大幅提高。

其中鯤鵬大數據容器，具備極致彈性的調度能力，能夠每秒發放1000容器，減小資源彈性等待時間，提高計算效率。而裸金屬容器技術，因爲大幅下降虛擬化的開銷，可更進一步的提高服務器執行業務的利用率。採用Serverless模式的容器集羣，能夠很好的支持按需彈性無限擴展，用來執行Spark大數據任務，輕鬆處理PB級數據做業。

Volcano（火山）項目是華爲容器團隊開源的一款K8s加強型調度器。初衷爲了解決原生K8s不支持Gang Scheduling問題，後來因爲AI和大數據等業務領域也開始對K8s有極大的述求，團隊成員經過總結具體場景實踐經驗，打造有價值的技術產品，並貢獻社區。

Volcano經過高性能的調度算法，達到更高的容器調度速度。同時，自帶的多種算法插件，能夠極大的提高集羣資源利用率。同時，Volcano也補齊了K8s原生調度器與Yarn調度器間的Gap，例如資源的隊列管理（Queue）能力等。爲大數據容器解決方案，插上了帶火的翅膀。

 

大數據世界，容器來助威

BigData Pro是業界首個鯤鵬大數據解決方案，該方案採用基於公有云的存算分離架構，以可無限彈性擴容的鯤鵬算力做爲計算資源，以支持原生多協議的OBS對象存儲服務爲統一的存儲數據湖，提供「存算分離、極致彈性、極致高效」的全新公有云大數據解決方案，大幅提高了大數據集羣的資源利用率，能有效應對當前大數據行業存在的瓶頸，幫助企業應對5G+雲+智能時代的全新挑戰，實現企業智能化轉型升級。

其中，鯤鵬大數據容器解決方案，做爲BigData Pro解決方案中重要一員，更是提供了完整的容器化大數據解決方案。

在2019年度中國數據與存儲峯會年度頒獎典禮上，華爲雲BigData Pro大數據解決方案榮獲了「2019年度大數據產品金獎」，也再一次展現了華爲雲在大數據領域的不凡實力。

 

點擊這裏，瞭解更多精彩內容