阿里關濤談大規模計算—從數字化阿里到數字化城市的進化

摘要： MaxCompute是ET大腦供血系統極其重要的組成部分，若是沒有MaxCompute，今天咱們將沒辦法給你們講述任何一個成功的故事。

在剛剛結束的2018杭州雲棲大會上，阿里巴巴通用計算平臺負責人，阿里巴巴計算平臺資深技術專家關濤從計算力，聯合計算，智能化，企業級服務能力四個方面詳細介紹阿里巴巴統一的超大規模數據計算平臺MaxCompute的探索與實踐。從數字化阿里巴巴，到數字化企業，再到數字化城市，MaxCompute快速進化，加速科技普惠, 驅動數字中國。

科學家閔萬里，在雲棲大會主論壇的演講中表示，MaxCompute是ET大腦供血系統極其重要的組成部分，是咱們的鎮山之寶，若是沒有MaxCompute，今天我在這裏將沒辦法給你們講述任何一個成功的案例。 咱們經過ET城市大腦自動化監控城市路口信號燈，這當中，沒有什麼魔術，就是由於有了MaxCompute,有了大規模的分佈式計算，數據越大，場景越大，越能體現大規模計算的能力。

如下依據關濤演講進行整理

謝謝你們，我是關濤。前面提到的杭州城市大腦，是一個很是新的平臺，是阿里巴巴一步一步向上走的平臺。咱們最開始但願數字化阿里巴巴，再日後，就但願把數字化普惠到企業層面，如今咱們開始數字化一個城市了。

用一個放大鏡看一看城市數字化時作了哪些事？剛纔提到了1300個路口，咱們實際上數字化了1300個路口，包含了4500路攝像頭，每一路攝像頭每一秒鐘生成24幀數據，這一幀數據其實是一張高清圖片，也就是1920X1024X24位的色彩景深，這一路數據若是不通過壓縮，一幀的數據大概50M，在這一幀數據中，咱們會作車輛識別、車牌識別、行人識別，包括像壓線這樣的違章檢測等操做。在幀和幀之間去看車輛速度，路口擁堵，以及路口和路口之間後續可能的擁堵指數。從數字化一個城市的層面來看，無疑對數字和計算的一個極致要求。咱們要想作到算得起，算的快，算的準，就須要有一個強大的計算平臺。

飛天2.0MaxCompute是阿里巴巴在9年前作飛天系統的三大件之一，分佈式存儲、分佈式調度、分佈式計算，它是分佈式計算的部分。9年後的今天MaxCompute已經能夠承載EB級的數據存儲能力，百PB級的單日計算能力，在公共雲上以及覆蓋了國內外的十幾個國家和地區，專有云上包含城市大腦在內部署超過100+套，總體已達到10萬臺規模。就是這樣一個計算平臺知足了包括城市大腦在內的全部計算力要求。

從系統架構來看，MaxCompute超大規模的計算服務最底層包含異構的計算集羣，支持CPU、GPU、FPGA集羣以及將來的智能硬件集羣。這些集羣分佈在不一樣地方，經過統一的元數據管理和統一的調度系統聯動在一塊兒，在用戶看來這10萬臺機器就是一臺計算機。向上咱們提供包括批計算、流計算、內存計算、機器學習、迭代等一系列計算能力，這一整套計算平臺成爲了阿里巴巴經濟體，以及阿里雲背後計算力的強有力支撐。

今天我想爲你們展開介紹如下四點：

一，做爲計算平臺，計算力是最核心的指標。

在2015年GraySort 競賽中，咱們用377秒完成了100TB的數據排序，打破了此前Apache Spark創造的1406秒紀錄，得到世界冠軍。2016年咱們又拿到了CloudSort最優成績， 代表咱們不只算得快，並且算得便宜。2017年MaxCompute挑戰TPCX-Bigbench 100TB 的30個query指標，成爲全球第一個測試經過的計算引擎。2018年咱們在一樣的100TB規模上，性能指標提高了一倍。 另外在超小型10TB規模的指標上，咱們與其餘開源競品進行了比對分析，性能超過開源競品3倍。這是計算力的持續升級。也是知足數字洪峯涌進時對計算力的要求。經過這種方式使得計算力更便宜，也使得智能化更普惠。

第二，計算下推比數據上移更高效。

大多數用戶上雲，一般狀況下數據不會在一個系統裏。對於在線服務，數據一般會在數據庫裏支撐前臺業務，對於半結構化log，以及非結構化的音視圖等數據一般狀況下存儲在數據湖裏。前端數據庫的數據有很是豐富的index的支持，能夠算的很是高效，後端是一個超大規模存儲，中間是一個大數據體系，會把結構化數據以列式的方式存儲下來支撐超大規模的數據計算。

這樣就會面臨一個挑戰，就是用戶預期要把全部數據放在一塊兒來算，獲得一個最好的結果。面對這種挑戰，一般有兩種解法，一種是所謂數據上移概念，就是把全部數據上移到統一系統中，上傳同步以後再作計算，這樣能夠完成計算任務。可是會帶來三個問題，一是數據冗餘，至關於把一樣數據備份一份或者兩份；二是同步有延遲，在延遲裏沒法進行計算；三是實時性受影響。

基於此，咱們提出聯合計算的概念，咱們認爲計算下推比數據上移更高效。什麼是聯合計算呢？就是不須要數據同步，經過在大數據系統中的一個做業，能夠聯動其它系統。好比我能夠在一個做業中把數據庫系統的做業和大數據系統作一個join,在join時若是有 filter或aggregation，能夠把部分計算下推到數據庫系統中，由這個系統來計算。實現一個做業在多套系統之間的聯動，在每一部分都依賴於當時系統最優的優化，作最優的決策，在這個層面上實現數據之間的聯動和打通，這是聯合計算的概念。

第三，Auto Data Warehouse讓大數據自動駕駛。

這是咱們但願今年能夠在公共雲上推出的一個新功能。 五年前咱們在阿里面對了巨大的現實挑戰，數據爆發式增加，每一年增加幾倍。以目前數字來看，平均每一個阿里巴巴員工大概有100個做業，天天有五六百萬做業在系統中跑。若是把這些做業平攤到負責數據平臺的同窗中，每一個人負責幾十萬張表，十幾萬個做業。以人的理解力來說，真的沒有辦法理解這些數據之間的關係和做業之間的關係，由於它過於複雜。

咱們要怎麼作呢？當時很難回答的一個問題是數據有沒有冗餘，計算是否是能夠複用。若是某一個做業失敗了，某一個數據出了問題，到底影響面有多大，這些問題當時無法回答。因此五年前，咱們開始作一套系統，從最基本的數據可發現作數據地圖開始，而後作數據血緣，找到數據之間的關係，看數據冷熱之間分離能力，再看數據自動優化。到最後當有一張新的數據表進來時，自動去找關聯關係，咱們把這樣的系統結合成Auto Data Warehouse數據自動駕駛系統。這套系統在阿里巴巴內部實踐代表，在計算優化上提高了35%，數據冗餘去重層面下降了20%的存儲能力，在資源規劃層面，提高了超過75%的計算效率。這套系統在阿里巴巴很是成功的得以實現，今年咱們也會在公共雲上提供給你們。

第四，MaxCompute是面向企業的完整服務，不僅是單一引擎。

再回歸到杭州城市大腦，能夠看到這個平臺再也不是一個基礎的平臺，而是杭州城市背後的數據支撐系統。若是這個系統出現問題的話，頗有可能對國計民生都有影響。這對於系統的要求除了計算力以外，又不只僅是計算力，還包含穩定性，可容災能力，可恢復能力，當交通出現擁堵，出現超大規模人流時的彈性能力等。當遇到突發狀況，好比山竹，物理緣由致使某些網絡斷掉時，咱們有預警能力和自恢復能力。全部能力總結成一個詞就是「企業化的能力。」 MaxCompute不止是一個引擎，而是一整套平臺，包含完整的企業化服務。

除了計算以外，包含帳號系統，項目管理系統。帳號系統聽起來簡單，若是一個企業有上萬人用一個平臺時，帳號分離就變得很是關鍵了。 數據安全系統，是指把數據分紅若干個屬性，若干個數據標籤。好比：高優先級，低優先級，高祕級，低祕級，高隱私、低隱私，什麼樣的數據受權給什麼系統，受權給什麼樣的人，須要有系統保障。監控系統，則是咱們不但願等系統出了問題時，用戶才能知道，而是但願在系統可能要出現問題時，或者有機率出現問題時，可以作提早預警，作提早的處理。

今年咱們也新推出了DQC數據正確性驗證系統，當數據變得很是複雜時，會搞不清楚數據哪裏出了問題。好比用戶做業寫錯了，咱們能夠在若干個層面加以驗證，經過一系列規則的方式保證數據的正確性。還有新推出的，已經實施在某些專有云項目裏的多集羣容災系統，這套系統知足了金融性容災系統，符合中國第一代金融法規要求。除了計算力，聯合計算，智能化之外，開發一樣很重要。阿里巴巴有超過1萬人在這個平臺上作開發，阿里雲上有數萬家企業客戶在這個平臺上作開發，影響幾十萬人，開發效率一樣關鍵。今年咱們全新升級了DataWorks開發和調試平臺，更有數據集成系統，做業的pipline管理系統，同時能夠和機器學習聯動，和數據分析和BI平臺聯動，同時也推出APP Studio。除了引擎以外，總體把一個企業級的計算服務完整搭建到一塊兒。

計算力，聯合計算，智能化和企業級服務能力，構建成一個完整的大數據平臺，咱們將不斷以技術驅動平臺和產品化發展，讓企業和社會可以擁有充沛的計算能力，持續快速進化，驅動數字中國。

點擊瞭解大數據計算服務MaxCompute

本文做者：晉恆

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。