80後阿里P10，「關老闆」如何帶着MaxCompute一路升級？

我是個幸運的人。雖然幸運不能被複制，可是眼光和努力能夠。

關濤/關老闆，80後的阿里P10，阿里巴巴通用計算平臺負責人，阿里巴巴計算平臺研究員。12年職場人生，微軟和阿里的選擇。

關濤的花名取自諧音：觀濤。有種看海觀濤的閒適，但在MaxCompute技術團隊裏，由於團隊既要作核心技術也要「落地拿結果」承擔阿里雲的客戶規模和營收，像一個小的創業公司，所以你們更喜歡叫他」關老闆」，一會兒就世俗親近了起來。

關老闆是個北方人，大高個也帶着些書生氣。由於工做的關係，帶領着一支跨國團隊，兩岸四地奔波（太平洋兩岸，北京、杭州、西雅圖、加州），說話間偶爾喜歡中英文match一下。

「我是一個興趣驅動型的人，職業生涯總的來講，還算挺幸運的，作本身感興趣的事情，走上IT這一行……」

若是有認識關濤的人，應該會忍不住說上一句：這傢伙，運勢太好了吧。

一路保送，沒考過什麼試，大學選擇計算機的緣由也很任性，喜歡玩遊戲。研究生畢業後就進入了微軟，是微軟最年輕的技術管理者之一，後來去了阿里雲，不到3年時間，已是P10，阿里巴巴通用計算平臺MaxCompute團隊負責人。

「特別久之前，大概初中的時候有了本身的第一臺電腦，大名鼎鼎的486，帶一個數學協處理器，主頻266MHz，內存有4MB。」

喜歡玩遊戲的都知道，每每會遇見有些關卡比較難，闖不過去的狀況。當時的關濤就想着：怎麼可以繞開系統這些設置？因而查了不少雜誌也看了不少書，試圖去改遊戲存檔，那個階段他第一次知道什麼是十六進制，也是最初接觸編程。

最後本身折騰着，操縱遊戲角色大殺四方，簡直無敵。讓程序按照本身的意願運行的感受，「嘿，還好玩的。」

因而，開始以爲這個專業（計算機）不錯。到了高中畢業的時候，由於數學競賽被保送到南開大學，當時的一個選擇是能夠進數學系，南開的王牌專業，但最後，關濤仍是由於興趣選擇了計算機。

人生的分叉口有不少，有時候作了第1個選擇，後面的路都會開始相通，看似順勢而爲，其實都是選擇的結果。

**從200千米的北京到8000多千米的西雅圖
工做須要按期make a little change**

2006年，關濤畢業了。這意味他要開始本身的職業生涯了，他有些躍躍欲試。

研究生的3年，由於導師有額外要求：不能去實習，這讓關濤對於招聘市場並不那麼瞭解，對於微軟一樣是「沒有太多的認知」。但北京有個MSRA，微軟亞洲研究院，聽說是當時最好的R&DCenter。

抱着試試看的心態，經歷了一成天的面試後，關濤順利地拿到了offer。 他回憶：「好像也不是那麼難」。

在離家鄉河北承德200千米遠的北京，關濤一呆就是6年，是微軟Bing搜索北京團隊最初的幾十我的之一。從偏存儲層到計算層，在項目裏不斷地去充實本身。他是個興趣驅動的人，但在工做中願意變成完美主義者。

在微軟的第一個項目，是作一個分佈式KV+ObjectStore系統，用於支持Bing搜索的圖片和視頻存儲。2006年，尚未Hbase這樣的開源系統，當時6我的的小團隊徹底手寫一套分佈式KV，最終部署在3000臺機器並支持正常線上流量，在實戰中接觸到了分佈式系統中的各類挑戰，也學到了很是多的東西。「這個項目，是個好的機會與開始」。

第二個項目是作搜索後臺的IndexGen Pipeline：一個定製化的存儲與計算系統，用於支持通用搜索100B級別的超大規模數據存儲和處理，後來這個搜索後臺也成爲了微軟Bing搜索後臺的第二代架構，並服務至今。

再後來就是牽頭來作大數據上交互式查詢（JetScopeOn Cosmos），最後基本微軟一半以上的團隊都在用這個系統。

在關濤看來，無論是生活仍是職業發展，按期去make a little change是很好的選擇，保持新鮮感的同時，能看到學到更多的東西。從被別人帶着寫代碼、到本身獨立負責一些板塊，再到本身帶項目小組、帶大一點的技術團隊，這些都須要有一個自我時間界定，把握本身的發展節奏。

6年微軟後，他也準備make a bigger change：申請去了美國西雅圖的微軟總部。

8000多千米之外的城市，冬天不太冷，夏天不太熱，還有他最愛的單板滑雪，以致於一直堅持在每一年的最後一天自駕去不一樣的滑雪地。

在美國期間，關濤繼續深刻作交互式查詢、StructuredData優化推進等，也積累了不少跨國技術團隊管理的經驗。 「美國有近40年的歷史，團隊成員比北京的團隊更資深一些，在美國可以看到不同的人，看到不同的項目。」

而在微軟的10年時間裏，關濤也關注到了國內以BAT爲表明的本土企業，他們發展的很好，並且有更高的加速度……

**西雅圖分部第22號員工
10年後的迴歸，面對更多的挑戰**

「當時海外辦公室剛建起來，我是阿里西雅圖分部的第22號員工。」

「在微軟10年，國內是什麼狀況？」好奇心不斷膨脹，因而在一次偶然的機會，關濤跳去了阿里，成爲了阿里巴巴通用計算平臺MaxCompute團隊裏的一員。這是2016年1月。

MaxCompute的前身是ODPS，阿里內部統一的大數據平臺，目前99%的數據存儲以及95%的計算能力都在這個平臺上產生，若是把阿里巴巴集團的數據體系比做航母戰鬥羣，那麼MaxCompute就是中間的航空母艦。

面對這樣一個已經發展了近6年的相對成熟、體量極爲龐大的平臺，挑戰很是多。而2016年1月入職阿里，2016年年會上就接過了MaxCompute的掌舵者位置，從0到1已經作完了，如何作到從1到10？留給關濤的時間並很少。

他認爲，大型系統逐步發展，是一個不斷自我進化的過程，大數據系統也不例外。

微軟的經歷給了他一些幫助：包括一樣都是大數據引擎（規模上有較大差別），以前的技術和工程經驗都能複用。而豐富的跨國技術團隊管理經驗也讓關濤更加適應阿里的工做。

**從MaxCompute1.0到MaxCompute2.0
「咱們是在飛行的飛機上換引擎」**

關濤回憶：「當時進來的時候，MaxCompute1.0 實際上是在一個技術的成熟期上，承接了阿里巴巴內部和阿里雲的核心業務，而引擎升級有技術風險和問題（咱們稱爲Regression，包括功能和性能的）。爲了保證對上層透明，咱們先作了一個框架升級，支持把引擎的不一樣版本同時部署在線上，一點一點地把流量切過來，同時觀察效果。」以後再進行引擎層面的大手術。

有點像是「在飛行的飛機上換引擎」。

現在的MaxCompute2.0相較於1.0版本，規模達到近10萬臺，性能提高超過1倍以上，每一年爲阿里巴巴節省預算超過20億，同時也讓阿里的大數據引擎能夠在將來3-5年架構上有個相對好的佈局。

技術團隊如何管理

關濤的見解是：技術管理者歸根結底仍是一個管理者。

一、首先考慮的不是本身要作什麼事情而是幫助團隊作什麼事情，更多的有一種「利他」的責任感。

二、技術前瞻性，技術團隊管理者是要帶着團隊有目標地、正確地往前走，把握將來方向很是重要。

三、招聘層面，思考如何招到合適的人，如何進行人才佈局。如今是人才在哪辦公地點就在哪的階段。

從大數據角度看阿里雙十一

要支持好雙十一，先從兩個統一提及（數據統一和資源統一）。

• 數據具備1+1大於2的特性，不一樣的數據融合計算能產生更大的價值。而關鍵就在於如何把數據都打通。

幾年前阿里巴巴建設中臺，把內部全部的數據放在一塊兒（物理上分佈在多地的近10萬臺服務器上，但邏輯上統一，數據的分佈和調度對用戶透明），讓豐富的數據幫助產品、業務前進。

• 資源的統一化：把全部機器放在一個大的資源池裏（內部稱爲混布項目），資源調度系統打通，對於機器的效率優化和整個系統的容災都有很是大的幫助。

作大數據的都瞭解，數據能夠3年翻5倍，機器卻不行，不然成本過高，不現實。而利用已有的服務器進行混合部署，「這也是近一年，咱們重點投資的一個項目，也就是把不一樣BU、不一樣種類的機器部署在同一個資源池中。」

有了這兩個統一架構的前提，雙十一在洪峯來臨的時候，能夠選擇把不那麼重要的工做先停掉（在百萬級別的做業中基於優先級和依賴作調度），讓這些機器都用來支撐洪峯。洪峯事後，又把機器主力轉移到計算上，把須要的計算儘快地輸出來。

今年雙十一，大數據集羣在流量洪峯最高的幾個小時，經過彈性支持了超過1/4的交易業務流量。

不增長棋子，僅依靠挪動棋盤上的子，就完成佈局守住將軍。固然，在此以前，團隊把MaxCompute已經從1.0版本切到了2.0版本，性能的提高也是支持雙十一數據量的關鍵。

在硬件只增長不到三分之一的基礎上，處理數據相較去年翻了一番，達到單日處理600PB的規模。能夠說，MaxCompute在這一戰役中發揮得不錯，甚至比去年更爲優秀。

**將來：雲化、新硬件、非結構化計算、非關係型計算、AI是趨勢
DBA或將被淘汰？**

去年的時候，原阿里雲總裁胡曉明說：「互聯網的雲計算競爭是世界寡頭經濟的全面競爭，在我看來，就是杭州和西雅圖的競爭。誰擁抱技術，誰就擁抱將來。」場主深覺得然。

關濤認爲：目前雲計算已經從互聯網企業向傳統企業蔓延，例如杭州的城市大腦和「最多跑一次「項目，是2G（To Government）的項目。還有基於工業大腦的工業4.0項目等。

從目前的市場態度來看，企業或許能夠更加開放一些，歡迎和擁抱這種技術變化，完成自個人數字化轉型。「雲計算不會是寡頭反而會是普惠」，關濤說。

前瞻話題：大數據處理領域，將來程序員應該關注什麼東西？

一、 新硬件的發展

計算層面愈來愈與新硬件的創新緊密結合，硬件會帶來平臺革命。例如芯片類的CPU（AVX、SIMD）、ARM衆核架構、GPU，FPGA，ASIC，存儲類的NVM、SSD、SRM，網絡類的智能網卡和RDMA等新硬件的發展，新硬件與軟件的配合是值得關注的發展方向。

二、 非關係型計算領域（圖計算）有不少機會

大數據如今仍是在關係型的處理層面，包括流和批都是基於關係型數據的計算，事實上，如今非關係的計算愈來愈流行了，包括知識圖譜、畫像等愈來愈有價值，這些數據組織不是關係型表達，而是以點邊的形式用圖的方式表達，更符合物理抽象，好比人和貨的關係，在風控層面，知識圖譜層面，用來描述物理實體的關係更合適。

明年初，將會推出MaxCompute的圖計算系統MaxGraph，支持圖存儲、查詢、模式匹配和GraphEmbedding等機器學習運算。

三、 非結構化數據將變成大數據的主流

愈來愈多的短視頻、圖片、語音類數據，並隨着IoT的發展，可能佔據80%的數據量，因爲這類數據的特性在於結構各不相同，且數據很是大可是單位價值不高（相比傳統結構化數據），如何快速高效的解析和處理非結構化數據，是計算平臺的關鍵挑戰。

去年的時候MaxCompute發佈了一個非結構化數據處理模塊，可以用戶自定義的方式處理包括視頻音頻在內的數據。

四、 Al for Everything（also for BigData）

DBA或將被淘汰？

大數據的特色是大，不只僅是包括數據的處理規模，還包括了整個的海量數據的管理和優化。傳統數據庫領域依靠DBA人力去管理的模式將再也不適用。

用Al優化數據分佈、數據管理、作計算優化和成本優化（例如自動SubQuery合併，智能索引創建等）。「讓大數據無人駕駛」，這也是將來的趨勢。

---

本文做者：晉恆

閱讀原文

本文來自養碼場專訪，轉發需養碼場受權。