雙11奇蹟背後的大數據平臺，不喧譁，自有聲！

摘要： 大數據技術時代，企業爭相數字化轉型，任何成功項目的背後，離不開數據平臺的支撐，更別說2135億的大項目，這背後的數據平臺要多健壯，多安全，多穩定？

00:02:05 成交額超100億
00:57:56 成交額超666億
01:47:26 成交額超1000億
15:49:39 成交額超1682億
22:28:37 成交額超2000億

2018年雙11新紀錄2135億

高速跳轉的數字，不斷刷新的狀態，光纜中狂奔的代碼，鍵盤上飛舞的手指…

新的記錄
絕非十年前的記錄
也非2017年的記錄

是產品專家緊抓不放的記錄
是技術專家誓要征服的記錄

是方案冷靜的記錄
是技術求精的記錄
是框架穩定的記錄
是系統健壯的記錄
 

數據平臺，計算創造價值

2004年，爲了從大數據中分析當前情況，並預測將來的趨勢，阿里擁有了第一個大數據倉庫，到2008年，淘寶的業務量與數據量已達到2004年的數千倍，爲了讓數據成爲生產資料，從底層重構大數據技術就顯得尤其重要。

2010年春，大數據引擎MaxCompute的前身SQL Engine初版上線，運行在當時30臺機器的飛天集羣上。

2011年，飛天團隊開始探索支撐集團內部數倉業務，在1500臺機器上並行運行雲梯2的生產做業，並取得了不輸於Hadoop的性能和穩定性成績。

飛天5K項目以後，MaxCompute隨之進入5000臺機器和跨機房調度時代，而且能夠在377秒完成100TB的排序。

如今，MaxCompute已經成爲阿里巴巴的主力計算平臺，阿里巴巴集團99%的數據存儲以及95%的計算能力使用MaxCompute；天天有超過500萬個做業在平臺上運行。
 

2018完美支撐全球「最猛」交易洪峯

經過MaxCompute引擎助力，從2014年雙11開始，千人千面成爲常態。MaxCompute做爲11項目背後大規模計算的祕密武器，承受住了雙11期間大規模集羣、海量數據、高併發量的極大考驗。

MaxCompute單日數據處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過500PB，不斷挑戰新極限，不斷刷新新紀錄。同時MaxCompute平穩支撐電商混布單元在線流量洪峯12萬筆/s交易，穩定承載45%導購流量，順利完成1200臺DB業務混部的目標，爲雙11交易峯值提供了有力保障和平滑支撐。

雙11期間，除了天貓、淘寶、阿里集團以外，MaxCompute還爲金融、支付、新零售等各行業提供強有力的計算服務。
 

阿里大數據計算能力，走出集團服務全球

幾年過去，經過大數據與人工智能算法的結合，MaxCompute已成爲ET大腦最重要的組成部分，ET城市大腦自動指揮城市路口信號燈，而且成功應用於馬來西亞的交通治理；ET工業大腦推進工廠取得更好的良品率，致力於幫助製造企業提高1%的良品率。

從數字化阿里到數字化城市，MaxCompute能夠承載EB級的數據存儲能力，成爲全球首個100TB規模Bigbench測試經過的大數據計算平臺；在公共雲上覆蓋國內外的十幾個國家和地區，專有云上部署超過100+套。

MaxCompute不僅是單一引擎，更是面向企業的完整服務。過去的10年中，MaxCompute穩定支撐阿里集團全部數據業務的同時，早已將強大的數據能力普惠給普遍的雲上企業。基於MaxCompute構建穩定、安全、可擴展及與應用系統高效交互的數據中臺，已成爲衆多行業下客戶數字轉型的首選方案。

從線上到線下，從生產製造到互聯網電商，從國內到海外，MaxCompute的計算能力正在延伸到各行各業，極大地下降了社會的計算成本。

每一次挑戰，都讓MaxCompute站在新的起點，不喧譁，自有聲，壯志在胸。

原文連接