阿里靠什麼支撐 EB 級計算力？

BigData 概念在上世紀90年代被提出，隨 Google 的3篇經典論文（GFS，BigTable，MapReduce）奠定，已經發展了超過10年。這10年中，誕生了包括Google 大數據體系，微軟 Cosmos 體系，開源 Hadoop 體系等優秀的系統，這其中也包括阿里雲的飛天系統。這些系統一步一步推進業界進入「數字化「和以後的「 AI 化」的時代。

同時，與其餘老牌系統相比（如，Linux 等操做系統體系，數據庫系統、中間件，不少有超過30年的歷史），大數據系統又很是年輕，隨着雲計算的普惠，正在大規模被應用。海量的需求和迭代推進系統快速發展，有蓬勃的生機。（技術體系的發展，能夠經過以下 Hype-Cycle 概述，做者認爲，大數據系統的發展進入技術復興期/Slope of Enlightenment，並開始大規模應用 Plateau of Productivity。）

 

上圖來自Gartner

若是說，0到1上線標誌一個系統的誕生，在集團內大規模部署標誌一個系統的成長，在雲上對外大規模服務標誌一個系統的成熟。

MaxCompute 這10年已經走向成熟，通過屢次升級換代，功能、性能、服務、穩定性已經有一個體系化的基礎，成爲阿里巴巴集團數據中臺的計算核心和阿里雲大數據的基礎服務。

1. MaxCompute（ODPS）概述

1.1 背景信息：十年以後，回頭看什麼是大數據

"Big data represents the information assets characterized by such a high volume, velocity and variety torequire specific technology and analytical methods for its transformation intovalue. "

用5個「V」來描述大數據的特色：

• Volume （數據量）：數據量非線性增加，包括採集、存儲和計算的量都很是大，且增速很快。
• Variety （數據類型）：包括結構化和非結構化的數據，特別是最近隨音視圖興起，非結構化數據增速更快。
• Velocity（數據存儲和計算的增加速度）：數據增加速度快，處理速度快，時效性要求高。
• Veracity（信噪比）：數據量越大，噪聲越多，須要深刻挖掘數據來獲得結果。
• Value（價值）：數據做爲一種資產，有 1+1>2 的特色。

 

1.3 競品對比與分析

大數據發展到今天，數據倉庫市場潛力仍然巨大，更多客戶開始選擇雲數據倉庫，CDW仍處於高速增加期。當前互聯網公司和傳統數倉廠家都有進入領導者地位，競爭激烈，阿里巴巴CDW在全球權威諮詢與服務機構Forrester發佈的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》報告中位列中國第一，全球第七。

原文連接