阿里巴巴集團副總裁賈揚清：開源大數據生態前瞻

簡介： 本文整理自開源大數據專場中阿里巴巴集團副總裁，阿里巴巴計算平臺事業部總裁賈揚清先生的精彩演講，將爲你們講述開源大數據與人工智能生態前瞻，分享阿里雲對開源的態度，以及對大數據和人工智能的將來規劃。

2019阿里雲峯會·上海開發者大會於7月24日盛大開幕，本次峯會與將來世界的開發者們分享開源大數據、IT基礎設施雲化、數據庫、雲原生、物聯網等領域的技術乾貨，共同探討前沿科技趨勢。本文整理自開源大數據專場中阿里巴巴集團副總裁，阿里巴巴計算平臺事業部總裁賈揚清先生的精彩演講，將爲你們講述開源大數據與人工智能生態前瞻，分享阿里雲對開源的態度，以及對大數據和人工智能的將來規劃。

專家簡介：賈揚清，阿里巴巴集團副總裁，阿里巴巴計算平臺事業部總裁。曾任Facebook AI架構部門總監，負責前沿AI平臺開發，Facebook各產品部門AI平臺的支持以及前沿機器學習系統研究。曾在Google Brain擔任研究科學家，致力於深度學習的科研與工程，在深度學習框架領域有不少的貢獻和積累。他是Caffe做者，TensorFlow做者之一，Pytorch 1.0的合做領導者和Onnx創始人。

開源大數據專場PPT下載

本文內容整理自演講視頻以及PPT。

1、開源現狀

目前爲止，AI開源項目的發展能夠說已經深刻人心。從2013年的Caffe，到2015年Google推出的被認爲是目前最流行的大規模可商業應用的人工智能框架——Tensorflow，到2017年Facebook推出的能夠用來實現更加靈活，從科研到部署環境的PyTorch 1.0框架。能夠說，近幾年人工智能的發展與開源社區的開源共享精神是密不可分的。從全球角度來看，整個開源社區正在蓬勃發展。據2018年GitHub開源年度報告統計，GitHub上共有3100萬用戶在活躍的進行各類軟件開發，全球共有約210萬個組織創建了約9600萬個倉庫的開源項目。在2018年，GitHub新增活躍用戶數量超過了前六年的總和，相較於2017年新增了40%的組織機構和30%的代碼倉庫。其中，國內的開發者也參與了不少開源項目，從底層的系統到上層應用，從全球趨勢來看，開源無疑是軟件發展的大勢所趨。

下圖是中國信通院企業採購大數據軟件調研報告，從企業的角度來看，有53.9%的企業選擇了開源軟件商業版，有32.7%的企業選擇了開源軟件社區版，總計共有86.6% 的企業選擇基於開源軟件構建本身的大數據處理業務。不難發現，目前國內開源發展狀況與全球趨勢是一致的。

2、阿里雲對於開源的態度：擁抱、貢獻、雙贏

阿里雲是自主可控的雲，同時又是開源兼容的雲。在過去十年，阿里雲最驕傲的一點是創建了一個從底層大規模的集成管理、集成控制、資源優化、大數據解決方案到上層業務平臺的一系列軟件棧。另外一方面，阿里雲在整個自主可控的大系統中應用了很是多的開源運行庫和開源項目，這些開源運行庫和開源項目做爲不一樣的積木，幫助阿里雲搭建起整個自主可控的大廈。

1. 擁抱開源

阿里內部有很是多的業務都在使用開源軟件。除了淘寶、天貓、支付寶、AliExpress、菜鳥、聚划算和阿里雲等阿里內部的業務以外，阿里雲向用戶提供的Iass和Pass服務也都借鑑和使用了開源的項目，好比，衆所周知的Linux，Hadoop，Flink以及最新的人工智能的框架Caffe和TensorFlow等。阿里巴巴很是感激開源社區，而且熱切的擁抱開源社區。

2. 貢獻開源

阿里在擁抱開源社區同時，也在不斷的向開源社區貢獻基礎力量。愈來愈多阿里內部一線的同窗投入到開源的項目當中，貢獻本身的力量。能夠發現，當開源應用結合到與企業業務流程中運行時，會遇到很是多的問題，而這些問題可能也是最初開源環境中沒有考慮到的問題。不少時候，開源項目起源於開發者的一個想法，爲了構建一套系統，在設計、架構、開發過程當中融入很是多的深刻思考和巧妙設計，而實際業務的實踐則可以使開源項目的設計獲得錘鍊和反饋。目前在國內，阿里是貢獻開源最出色的企業。GitHub上有大量的開源項目由阿里建立，據阿里經濟體GitHub開源生態報告統計，國內Top10的開源項目中，阿里的開源項目有6個。

在大數據和人工智能領域，目前爲止，阿里已向開源社區貢獻了超過100萬行的代碼。愈來愈多優秀的阿里工程師逐漸開始被開源的社區所接受。同時，開源社區也邀請阿里的同窗們成爲開源項目發展方向探討的參與者。至今，阿里已培養50+社區多項目的Committer以及PMC，包括從最底層的ORC項目到Spark、Flink等項目。不只如此，在阿里已有10多個產品和項目基於開源的優化獲得了很是好的效果，優化後的項目不管從速度、可用性，亦或是穩定性方面相比開源的版本都有了較高的提高。

3.雙贏開源

阿里雲巨大業務體量爲開源社區貢獻技術試驗場
開源軟件離不開經濟規律的控制，也就是說開源須要提供價值。目前，已經有很是多的企業選擇將本身的基礎架構遷移到雲上。雲是很是好的媒介，能夠幫助開源軟件實現商業價值對接企業的業務場景。阿里雲巨大的業務體量能夠爲開源社區貢獻技術的試驗場。舉例說明，Flink是一個流式計算的框架，同時也是阿里雙11時期的中流砥柱。十年前，在阿里剛開始啓動雙11時，業務體量很是少，業務對於系統的壓力也並非太大。從2016年開始，阿里雙11用戶已經達到了幾億級別，用戶大規模購買、瀏覽和查詢等操做，致使後臺指標在0點時突增。同時，阿里也逐漸發現大部分開源項目的設計沒有關注如此大致量下的應用壓力。所以，阿里雲基於開源項目實現了很是多的優化以知足自身大致量業務需求。在人工智能方面，阿里也發現了相似的狀況。上一代人工智能框架，如Caffe，在項目設計中每每帶着學術界的影子，而通過工業界和學術界多年的錘鍊，新一代的人工智能框架（如Tensorflow和PyTorch）逐漸開始考慮工業界大規模、彈性、高性能、部署多種環境（在端上，在雲上，在手機端等等）的複雜狀況。這些錘鍊剛好爲開源社區提供了很是好的反饋和也爲此作出了較大貢獻。

阿里雲大數據與人工智能開源的雲產品

大數據和人工智能方面，阿里雲對開源社區的主要貢獻有如下幾點：
實時計算：Flink支撐了阿里在雙11時期實時計算任務。
PAI組件：PAI是基於開源的PyTorch和Tensorflow框架深度優化的平臺，PAI徹底兼容了Tensorflow跟PyTorch的語法。在模型的分佈式訓練和模型部署時，PAI能夠經過底層的優化，通訊庫的優化，與GPU及體系結構的優化，實現更快的訓練和更大規模的部署。
EMR：大數據方面，不僅有Flink流計算，還有傳統的Hadoop，Spark等產品。阿里雲ElasticMapReduce（EMR）平臺，基於開源大數據集合服務，能夠完美對接大數據場景當中所遇到的開源計算模式。同時幫助線下開源用戶無縫遷雲。
ElasticSearch：阿里雲是賦能用戶，實現商業價值的平臺。阿里雲與ElasticSearch達成了很是好的合做。由ElasticSearch的創始團隊提供企業級的服務，阿里云爲用戶提供ElasticSearch產品，解決平臺、管控和部署等一系列問題。這樣的合做模式可使得開源的軟件更容易落地，從而幫助整個生態持續發展。

阿里雲與開源社區的共存、共生、雙贏。

如何將開源項目部署到實際應用系統當中？大部分企業和開發者逐漸把將他們的項目遷移到雲上。從我的角度來看，在雲上開發很是方便，從企業角度來看，在雲上開發能夠更容易進行跨地域和國際化部署。目前，阿里雲在全球18個地域、49個可用區，服務230萬家客戶、間接地爲數十億用戶提供雲計算、大數據、人工智能算力，幫助客戶部署本身的應用和產品。阿里爲開源社區提供的雲計算能力，與開源社區早已造成了共存、共生、雙贏的強紐帶關係。

3、大數據&人工智能將來規劃

支持集團，服務雲上：阿里雲，阿里巴巴集團的基礎團隊同時支持集團內部的應用和雲上的應用。阿里巴巴集團是阿里雲最大的用戶，相信在可以支撐如此大用戶的狀況下，阿里所提供的技術與產品都是通過驗證的、可靠的。

回饋社區，營造生態：阿里和Flink社區深度合做以後，將阿里內部的Blink項目和Flink進行了整合，將結合的版本回饋社區。在與開源社區的交互過程當中，阿里也積累了很是多的經驗。

共建社區，雙贏商業：目前，愈來愈多國內的開發者對開源有着很是大的熱情。阿里雲但願能夠爲這些開發者提供更多的服務，好比如何幫助開發者作CI，如何更好的作測試，如何實現更好的代碼託管。同時，阿里雲但願經過開源的會議，開源開發者的活動，進一步幫助企業與開源開發者社區進行更有效的溝通，助力開源社區和開源技術的發展。

---

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。