揭祕阿里雲EB級大數據計算引擎

內容來源：本文內容由阿里大數據計算服務（MaxCompute）團隊投稿提供。IT 大咖說經受權發佈，轉載請標明出處。

閱讀字數：2124 | 6分鐘閱讀

摘要

全球權威諮詢與服務機構Forrester發佈了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》，這是Forrester首次發佈關於雲數倉解決方案的測評。

————————————————————————————————————

日前，全球權威諮詢與服務機構Forrester發佈了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》報告。這是Forrester Wave首次發佈關於雲數倉解決方案（Cloud Data Warehouse，簡稱CDW）的測評。報告對雲數倉的當前產品功能、產品路線和發展策略、市場表現等幾個方面進行全面的評估，在產品能力排行榜中，阿里雲力壓微軟排行第7。

Forrester測評報告對CDW核心功能的評估主要從解決方案的多樣性、數據集成、性能和彈性擴展、安全性等方面進行，Forrester給出的評價是：阿里雲（MaxCompute+DataWorks+ADB）在普遍的基礎設施之上提供了一個可靠的數據分析平臺，可以知足客戶實時和EB規模的數據處理需求。此前媒體已經報道了DataWorks的相關細節，今天咱們就來聊聊MaxCompute。

EB級數據處理能力

首先來看一組數據。

2018年雙11，MaxCompute單日數據處理超過600PB，平穩支撐電商混布單元在線流量洪峯12萬筆/s交易，穩定承載45%導購流量，爲雙11交易峯值提供了有力保障和平滑支撐。

根據官方介紹，MaxCompute是一種快速、徹底託管的數據倉庫解決方案，通俗地理解就是大型分佈式數據計算，因此大規模計算是最基礎的能力。MaxCompute已是阿里巴巴的主力計算平臺，支持了整個阿里巴巴集團內部99%的大數據存儲和95%的計算，數據規模已達到EB級，上文提到的雙11場景就很好地體現了規模這能力。

固然，它和傳統 Hadoop 相比還有其它的優點。MaxCompute 向用戶提供了完善的數據導入方案以及多種經典的分佈式計算模型，可以更快速的解決用戶海量數據計算問題，有效下降企業成本，並保障數據安全。

總體來講有以下特色：

• MaxCompute在計算引擎、分佈式存儲上作了優化，在Sort Benchmark中MaxCompute消耗的時間和成本都是最低，保證了最優性價比。

• 服務器資源、集羣規模都是動態的彈性拓展，無需用戶關心。

• 支持SQL、MR、迭代計算、內存計算、圖計算等計算模型。

經歷了大規模應用實踐

據瞭解，目前MaxCompute正在爲全球企業提供大數據計算能力。阿里巴巴通用計算平臺負責人關濤曾表示，「在公共雲上，MaxCompute每一年以250%的用戶量和計算量在增加，並在全球十幾個國家和地區部署服務，爲當地企業提供計算力。」

例如，城市大腦的底層就在使用MaxCompute作存儲和大數據計算，支持了杭州、澳門、吉隆坡等城市進行智能化升級。這其中，由MaxCompute、PAI、流計算服務組成的計算平臺發揮了巨大的價值。

不只如此，MaxCompute在各大行業已經有普遍應用：

天氣預測有着普遍的需求羣體，天天幾億次的天氣查詢需求和近幾十億次的廣告請求， MaxCompute則很好地應對了這一挑戰。MaxCompute幫助墨跡天氣實現了對天天上億用戶的天氣查詢需求的快速響應和幾十億次廣告請求的精準投放。 互聯網保險行業，MaxCompute幫助衆安實現精準的用戶畫像分析，助力企業爲數億用戶提供數十億的保單服務，提高企業效率的同時，爲億萬用戶送去健康與安全。

總而言之，只要有海量數據處理需求的場景，MaxCompute都能經過阿里云爲用戶提供快速、穩定的計算能力。

總結

從Forrester的本次研究報告能夠看出，大數據技術已經進入CDW階段，在普遍的基礎設施之上提供一個可靠的數據分析平臺，知足客戶實時和大規模數據計算成爲核心需求。

MaxCompute做爲大數據計算平臺，不僅是單一引擎，更是面向企業的完整服務。在過去10年中，MaxCompute穩定支撐阿里集團全部數據業務的同時，早已將強大的數據能力普惠給普遍的雲上企業。基於MaxCompute構建穩定、安全、可擴展及與應用系統高效交互的數據中臺，已成爲衆多行業下客戶數字轉型的首選方案。

編者：IT大咖說，轉載請標明版權和出處