今日,Sort Benchmark 在官方網站公佈了 2015 年排序競賽的最終成績。其中,阿里雲用不到 7 分鐘(377 秒)就完成了 100TB 的數據排序,打破了 Apache Spark 的紀錄 23.4 分鐘。Sort Benchmark 有全球科技公司「計算奧運會」之稱,更早以前 Hadoop 的記錄是 72 分鐘。架構
堆機器堆出來的…想一想天河…
其實看看這個拼機器的子榜單沒有Amazon Google Microsoft就能看出點什麼了
雖然也不是一點技術含量都沒有。分佈式
據介紹,Sort Benchmark 的排序競賽包含 4 項比賽,其中 GraySort 和 MinuteSort 主要評測計算系統的規模和效率,是 4 項比賽中含金量最高的兩項。每一項比賽又分通用目的排序(Daytona)和專用目的排序(Indy)兩個類別。阿里雲飛天分佈式計算系統,在這兩項重量 級比賽中打破了所有 4 項世界紀錄。oop
GraySort 評測的是超大規模數據量排序的速度,飛天用了 377 秒對 100TB 數據完成排序,也就是說 1 分鐘可以完成 15.9TB 的數據排序,去年 Apache Spark 成績爲 4.35TB/分鐘。MinuteSort 評測的是系統在 1 分鐘內可以完成排序的數據量,飛天用 1 分鐘完成了對 7.7TB 數據的排序,去年冠軍三星爲 3.7TB。性能
阿里雲首席架構師唐洪表示,排序是最基礎的計算問題。100TB 排序,是把 1 萬億條無規律的 100 字節紀錄,嚴格按照從小到大的順序排序,考驗分佈式系統中存儲、調度、通訊等各個子系統的性能,可以反映出一個平臺的總體計算能力。GraySort 和 MinuteSort 這兩項比賽,充分證實了阿里雲在計算方面的核心能力。網站
據瞭解,Sort Benchmark 是一個專門從事排序基準評估的非盈利機構,該機構每一年都會舉辦一次國際頂級排序基準評估比賽,被認爲是計算界的奧運會。全球頂尖公司和學術機構都會帶着他們最新的研究成果來參加,以評估他們的研究成果。阿里雲
世界排序大賽官網公佈的結果:http://sortbenchmark.org/排序