【逐雲】阿里巴巴通用計算平臺負責人關濤:讓計算平臺成爲阿里的「水電煤」

《逐雲》是雲棲社區的一檔人物記錄短視頻欄目。一共10集。鎖定雲技術領域,每期記錄1位雲技術細分領域的表明專家,見證雲技術先行者在時代潮流下的選擇與追尋、堅持與自由。瞭解更多雲棲專家分享,請點擊雲棲專家頻道,固然咱們也歡迎你往前走一步,成爲咱們的雲棲專家(https://yq.aliyun.com/expert),與技術大牛一塊兒「煮酒論英雄」。安全

本期人物:阿里巴巴通用計算平臺負責人關濤網絡

 

如下爲關濤講述:架構

 

學生時代:一路保送,但可能不是你想象中的學霸分佈式

 

可能我不是那種你們想象中的學霸。愛讀書,但也很愛玩。我以爲興趣是最重要的。讀書經歷的話,一路基本沒考過試。初中到高中是保送,高中到大學由於數學競賽保送了南開大學,讀的計算機專業。選擇計算機,是由於從小特別愛玩遊戲,邊玩還會邊修改存檔,就這樣迷上了計算機。後來大學到研究生,是從南開推薦到了天津大學,帶個人導師在網絡方面研究成果很領先,也是經過他在計算機的領域裏走得更深刻。ide

 

除了遊戲,也很愛運動。工做後沒了那麼多時間玩遊戲,但會一直堅持運動。在微軟時也曾作過微軟中國網球協會主席,拿過微軟大部門網球聯賽的冠軍。很愛單板滑雪,以前也一直堅持在每一年的最後一天自駕去不一樣的滑雪地滑雪。佈局

   

初入社會:微軟最年輕的技術管理者之一,帶跨國團隊更具挑戰性能

 

研究生畢業後,拿到了微軟的offer,一作就是6年。在微軟的第一個項目,是作基礎架構,主要負責分佈式系統。在當時的體量仍是很大,團隊有幾千臺機器能夠佈局。最考驗的是系統的拓展能力,這個經歷也成爲了後來逐步往上作的基礎。學習

 

第二個項目,是作搜索後臺,那時整個業界搜索技術也剛起步,能夠理解爲是從0到1的過程,到後來這個搜索後臺也成爲了微軟後臺最重要的搜索架構之一。大數據

 

作完了這兩個偏存儲層面的後臺後,開始往上作,作大數據,更偏重於計算層。也就是在微軟的第三個項目:交互式查詢。從最初牽頭來作這個項目到經歷各類系統的升級更新,作到後面基本微軟一半以上的團隊都在用這個系統。優化

 

作到這裏,在微軟國內已經算是比較資深的員工,恰好在作組織架構調整,但願能夠接受更大的挑戰,便決定去到美國那邊的對口組,在那邊工做了兩年的時間。這期間繼續深刻作交互式查詢、優化推進等,由於在微軟比較早就開始帶團隊,在美國那邊也是帶團隊,不過此次是多國的戰隊。也是在那時積累了不少團隊管理的經驗,包括如何帶領多國成員組成的團隊,如何與遠程團隊溝通等。

 

阿里人:從微軟到阿里,技術信念的迴歸

 

在微軟工做將近10年,中國美國都工做過,帶一個團隊作交互式大數據計算這個領域,當時是一個比較「駕輕就熟」的狀態。微軟也是大型工做,內部能夠換到各類不一樣的工做和崗位,以前大約每兩年也會make some change。過去的十年,以BAT爲表明的本土公司也發展的很快,一直很好奇哪些技術、風格、文化上的特色驅動了BAT。因此當時有了阿里的機會,也很好奇但願更深刻的瞭解,也算是make a bigger change。

 

從工做性質上,仍是很match,都是大數據引擎(規模上有較大差別),並且阿里在國際化方面有投資,也須要跨國經驗,以前的技術,工程和管理經驗都能複用。

 

另外,我在很小的時候,有一次到中關村玩。有兩個廣告牌給我留下了深入的印象,到如今我都記得,一個是聯想的「人類失去聯想,世界將會怎樣」,一個是金山軟件「爲國產軟件的發展而奮鬥」,這兩個廣告體現了。。。。。。。兜兜轉轉十年,轉回到阿里,作通用計算平臺,也算是爲國產軟件而奮鬥了。

 

在微軟作了近10年,一路都是在覈心項目上深挖,也是在業界比較領先的技術上向前走,當時國內的BAT也有了加速的發展,不少地方速度超越了微軟、谷歌這樣的外企,正巧阿里在西雅圖成立了分部,對阿里技術一直比較看好,再加上技術線和本身也很匹配,便來到了阿里,成爲了當時阿里西雅圖分部的第22名員工。    

 

以前也一直帶北京和美國的團隊。此次在阿里,我管這個叫「兩岸三地工做」(太平洋兩岸,北京,杭州,西雅圖),這個工做狀態,確實工做更忙一些,不少會議須要照顧兩邊的時差,但這也是必要的。杭州和北京團隊setup都很齊整,西雅圖是咱們最近兩年的海外研發中心,特別的西雅圖的「雲谷」,雲計算北美的三巨頭都在,但願經過海外人才的引進,進一步提高咱們競爭力。這方面須要加大投資,付出一些時間和溝通成本也是值得的。

 

隨着三邊團隊融合和成熟,狀況已經不錯了。研發全球化一些優點已經開始體現,例如24小時全球事情cover的值班能力,國內/海外的客戶和合做夥伴會議,能夠就近參加(例如與Intel美國團隊的合做,由西雅圖同窗完成)。

 

責任:在阿里,開啓的是一場大的硬仗

 

在阿里我有一種感受,就是事比人多,可作的事情很是多。就好像帶領一個大戰隊,去打一場很大很持久的硬仗。關於計算平臺,你能夠想象一座航母,自己系統很複雜,週期也很長,這個航母的每次轉型都耗資巨大,但若是轉型的方向正確,戰鬥力裏必定會很是地強。計算平臺之於阿里,即是相似這樣一個存在。

 

在阿里負責的是帶整個計算平臺的團隊,在以前,阿里是各個業務部門會搭本身的數據平臺,如今是統一收到一個統一的大後臺中,計算平臺即是這個統一的平臺,也是整個阿里巴巴的數據中心。阿里內部超過95%的數據都在這個平臺上,每個月的月活有一萬多人,也就是每4個阿里員工中就會有1我的在用這個系統,天天的獲閱量有300萬左右。阿里這麼多業務線的數據彙總在一塊兒,數據也就具備了一加一大於二的特性,全部這些數據綜合在一塊兒也是阿里巴巴最大的數據價值之一。若是這個平臺一旦不工做,舉例說,像支付寶的商戶訂單、商家商戶的統計信息以及商品的維度信息等都會缺失掉,影響是很是不可思議的。

 

來到阿里,最開始就在和其餘架構師一塊兒,對這個計算平臺進行一次全面的革新,將性能提高了一倍。一倍可能不少人會沒有明確的概念,舉例來講,性能提高5%能夠省去的預算時一個億,那麼一倍的話實際上是節省了20億的預算。

 

計算平臺最典型的應用,即是每一年的雙十一。雙十一期間咱們團隊會值48小時的班,第一天支撐實時流量和交互式查詢,次日須要支撐份量的信息,中間不能有間斷。每一年雙十一結束的時候,計算平臺也會迎來整年最大的洪峯期,數據量會暴漲三倍到五倍的樣子,很是考驗整個數據平臺的能力,因此真的是一場很大的硬仗。

 

對將來的展望:讓計算平臺成爲阿里的「水電煤」

 

針對計算平臺的將來,是但願它能夠普及成爲「水電煤」通常的基礎設施。具體的方向,一是要有匠心也要有深耕,要從以業務爲主能上能下,轉變爲可在某一個領域深耕,可以打造業界影響力的一個狀態。二是生態線上有很是多的地方值得咱們學習,也值得去整合,但願能夠作到閉源系統與開源平臺很好的互動,在保證數據資源都統一的基礎上,可以保有既有資源系統最核心的能力,好比更安全、更高效、功能更強的優點,也能支撐開源系統更好的生態性,從而找到這中間的結合點。我也很堅信,目前咱們作的方向是對的。但願本身能夠帶領阿里計算平臺這座航母,開得更遠。

 

就我我的而言,也是但願能夠之內部和外部業務爲導向,把計算平臺這座航母自己的戰鬥力提高上來,在業務、科研、高校等領域打造影響力,把它打造爲世界上最好的計算平臺。

相關文章
相關標籤/搜索