十年磨一劍，王堅自研的MaxCompute如何解決世界級算力難題

摘要： 2009年這項關於大數據的技術長征開始。王堅帶隊，目標是自研大數據計算平臺MaxCompute統一阿里巴巴內部的數據和大數據計算體系。

大數據時代，隨着企業數據規模的急劇增加，傳統軟件已沒法承載，這也推進了大數據技術的發展，Google、AWS、微軟等硅谷巨頭紛紛投入大數據技術的研發；而在國內，王堅也在十年前帶領阿里雲團隊研發MaxCompute，率先在國內開啓大數據計算平臺的自研之路。

十年後，MaxCompute已經能夠承載EB級別的數據存儲能力、百PB級的單日計算能力，在公共雲上已經覆蓋了國內外的十幾個國家和地區，電商、工業、醫療、農業、氣象、教育等諸多行業企業開始採用這項技術，輕鬆處理海量數據，爲社會和消費者提供服務。

MaxCompute的自研之路

事實上，阿里大數據的發展歷程映射出整個大數據行業的發展史。

十年前，阿里巴巴比其它公司更早地遇到互聯網規模化帶來的挑戰。當時全球企業的數據庫基本都是Oracle，而阿里巴巴擁有亞洲最大的Oracle集羣，計算規模達百TB級別。

按照當時淘寶用戶量的增加速度，Oracle集羣很快將沒法支撐業務發展，而最核心的問題就是算力不足。儘管當時阿里已開始把數據遷移到更大規模的Greenplum，但後者在百臺機器規模時就遇到瓶頸，給業務增加形成極大阻礙。

此外，Hadoop之類的開源技術在可靠性、安全性上也遭遇了天花板。

2008年，王堅帶着解決大規模算力瓶頸的任務加入阿里。他發現，不管是Oracle仍是Greenplum、Hadoop，都不是大規模數據計算的最優解，必須自研一套本身的大數據處理平臺。

2009年這項關於大數據的技術長征開始。王堅帶隊，目標是自研大數據計算平臺MaxCompute統一阿里巴巴內部的數據和大數據計算體系。

事實證實，阿里作了正確的選擇。

四年攻堅，MaxCompute終於取得重大突破：2013年8月15日，阿里雲歷史性地突破了同一個集羣內5000臺服務器同時計算的侷限，爲將來的大規模服務奠基基礎。十年後，單集羣規模已超過1萬臺，能作到這一能力的科技公司在全球都寥寥可數。

在阿里云云棲小鎮，還豎着一尊飛天5K的記念碑，碑上刻着參與解決這一技術難題的技術人員名字。

解決世界級算力難題

經過大數據計算平臺，可讓訂單實時準確匯聚，也能夠精準預測變幻莫測的天氣變化，各行各業都在大規模使用大數據來提供更好的服務，而實現這一能力就是海量數據分析的結果。

但要處理好這些數據並不容易。除了數據量的劇增，不一樣行業數據類型豐富多樣，如結構化數據、非結構化數據等，都給大數據計算平臺帶來新的挑戰。

MaxCompute的創新之處就是採用Datalake技術，把不一樣的數據源用相似的方式存儲，用統一的方法計算，提供一套標準化語言，快速實現不一樣類型數據的計算。

基於這套創新技術，201五、2016年，阿里雲刷新世界計算奧運會SortBenchmark的六項世界紀錄；2017年，完成全球首次基於公共雲的100TB BigBench大數據基準測試。

如何快速「查詢」也是大數據計算的核心之一。MaxCompute採用「交互式查詢」來解決海量數據查詢慢的瓶頸，通俗地說就是系統能夠預判用戶將會作哪些查詢，提早準備，大大下降大規模數據查詢的時間。

此外，MaxCompute提出多租戶雲安全隔離技術，突破傳統大數據平臺的安全侷限，將安全邊界細化到用戶、進程、內核級別，徹底知足金融級的安全需求。

頂級算力走向世界

過去十年，MaxCompute能力不斷提高：單日數據處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過600PB。

記錄被不斷刷新，而且獲得了權威機構的承認：在Forrester發佈的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里雲MaxCompute、DataWorks、ADB等三款產品成功入選，並在產品功能（Current Offering）方面力壓微軟。

這一世界級的大數據計算能力也逐漸展現其價值，幫助數萬企業用更低成本、更高效率計算海量數據，爲社會和消費者提供服務。

在生活領域，墨跡天氣開始經過MaxCompute爲4億用戶提供氣象預報服務，天天的用戶查詢超過5億次。不只如此，它們的存儲和計算成本還使人意外地下降70%。

在交通領域，城市大腦在杭州實時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年，杭州從全國最擁堵城市排行榜上下跌52名。

在工業領域，阿里雲的大數據處理技術幫助製造企業尋找上千個參數的最優搭配，提高製造的良品率。協鑫光伏、天合光能等行業龍頭企業，都在嘗試這一全新的生產模式。

在政務領域，浙江最多跑一次經過大數據處理平臺打通政務數據，將與老百姓辦事最密切相關的100個事項70多億條數據，按照統一標準匯入統一的數據倉，實現共通共享共用。老百姓辦事不只能最多跑一次，甚至有可能一次都不跑。

而在海外，MaxCompute也已進入新加坡、歐洲等市場，將這一技術對外賦能給更多用戶。

從線上到線下，從生產製造到互聯網電商，從國內到海外，MaxCompute的計算能力正在延伸到各行各業，極大地下降了社會的計算成本。

MaxCompute產品官網 https://www.aliyun.com/product/odps

 

---

本文做者：晉恆

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。