阿里雲大數據三次技術突圍：Greenplum、Hadoop和「飛天」

 對於企業來講，到底什麼是雲計算？相信不少企業都有這樣的困惑，讓咱們一塊兒回到這個原始的起點探討究竟什麼是雲計算？雲計算對於企業而言到底意味什麼？

雲計算的三條發展路徑及三種落地形態

當回到最初的起點再審視雲計算的發展路徑，能夠發現，通過十餘年的發展演進，雲計算有三條發展路徑，而且最終沉澱下來了三種落地形態。

第一條路：源自於谷歌對大規模數據的處理，谷歌爲全球的互聯網用戶提供同一個服務——搜索，它須要將全世界全部的網站的數據都爬回去，而後作排序和索引，以後再爲用戶提供搜索服務。能夠看到這樣的工做須要對海量數據進行處理，谷歌須要把上百萬臺的服務器整合起來去作排序、索引和查詢。

第二條路：淘寶則發展出來雲計算的另外一條路徑，這條路與谷歌相比有相似之處，一樣須要把不少數據整合起來作一件事情。在我看來，淘寶所作的事情比谷歌更偉大一點，由於淘寶作的事情是交易。承載6億用戶在線訪問和下單支付，這件事情比簡單提供一個不能保證此次查詢和下次查詢結果的差別的查詢要更加困難，也更加偉大。由於這是有極其嚴格的業務要求的，雖然在規模上而言淘寶可能用不了像谷歌那樣多達百萬臺的機器，可是這也是一個積少成多的過程，把衆多的廉價的服務器整合起來去作一件事情，這就是雲計算的第二條路徑。

第三條路：這條路徑的發展，是源於在過去的十幾年間企業內部在硬件方面進行的大量投資，形成大量賦閒服務器資源。對於企業內部的使場景而言，每每僅有幾千或者幾萬個用戶，即使是大型的國有企業擁有有上百萬用戶，也就僅此而已。和動輒上千萬，上億的互聯網用戶相比，企業投入大量的IT資源特別是硬件資源的狀況下，服務的客戶數過少，顯然形成服務器資源的賦閒。面對由此形成的資源利用率低的狀況，帶來的挑戰就是如何更多更好地去利用這些賦閒資源。虛擬化技術，最先是IBM在小型機上或者大型機上就實現了，經過虛擬化或者分區技術，能夠來解決資源利用率低的問題，虛擬化的技術後來被VMWare發揚光大，在X86的平臺上進行了普遍傳播應用，第三條路徑實際上是就是虛擬化的過程。

雲計算通過發展最終沉澱下來的這些技術，對於企業，甚至對於任何一個開展的業務而言，都必不可少的。既須要有效利用資源，將規模從小變大；也須要面向客戶和業務作在線而且有業務質量保證的交易，同時也須要對數據進行大規模處理，進而產生對數據的洞察來支持業務的智能化。

真正能作到這樣的集大成者，其實是咱們如今看到的互聯網架構的雲提供商，好比AWS和阿里雲。而另一些模式產生出來的雲計算提供商，由於它們沒有這些強大的業務需求推進而產生的技術沉澱，因此很難把這個能力集合在一塊兒。好比面向企業的商用軟件VMWare，雖然其可以提供虛擬化，可是對於運行在其上的分佈式應用，以及對大數據的處理就顯得比較薄弱。而開源世界則經過軟件方式的交互，看起來可以擁有這樣的能力，好比經過Hadoop能夠作大數據，經過OpenStack能夠作虛擬化，可是咱們能夠看到這二者是實際上存在自然的割裂，不管是在硬件的共享仍是在管理層面的融合，以及在業務層面的互相支撐都存在鴻溝。

再回過頭來看，企業在上雲的過程當中會遇到一些挑戰，企業須要面對很是複雜的雲計算路徑。面對這麼多的雲計算形態，企業在上雲時會遇到困惑：到底該怎麼考慮本身的雲計算？

中國企業上雲的三大問題

阿里雲在和不少企業溝通而且幫助他們進行雲計算轉型的過程當中，認識到了企業上雲面臨的最大的三個問題：

第一，陷入虛擬化的誤區：將虛擬化等同於雲計算，沿着虛擬化的這條路走到黑。

第二，缺少數據中心全局方案：在小規模的應用場景下，進行簡單的虛擬化仍是可行的，可是當雲變成了企業的公共資產，變成一個平臺的時候，就須要從大規模的角度甚至從數據中心總體的角度考慮，不光要考慮硬件的安裝部署，還要考慮後續的維護和統籌部署，安全問題以及業務快速響應問題。因爲缺少全局方案，因此數據中心變得很是棘手。

第三，難以全面擁抱公共雲：因爲中國的不少政策，以及不少企業的傳統習慣，還有不少投資方面的資產會限制企業一步到位地去擁抱公共雲，不少時候企業但願在本身內部有一朵雲，幫助企業既可以享受互聯網技術帶來的業務昇華，同時又能避免一些政策的影響以及數據安全的限制。這些問題是真實存在的，好比說虛擬化這件事情，將來的業務場景會是互聯網化甚至移動互聯網化的，咱們不得不把本身開放出來，去迎接更多用戶的訪問。只有與更多客戶發生直接的關聯，纔可以產生對客戶的洞察，這時大規模的訪問以及大規模在線交易將成爲必然。另外一方面製造業設備，運輸業的交通設備和其餘電子設備等都在升級改形成爲智能設備，這些設備之因此智能的前提條件就是它可以將數據送回來，讓咱們加以利用，這就構成了另一個維度的大規模，這就是互聯網鏈接的大規模和物聯網信息處理的調度大規模。

對於第三件事情，還有重要的一點是：當客戶的行爲數據和產品產生的數據都回到咱們手中的時候，應該如何去使用這些數據？咱們須要使用它們產生智能來指導業務，好比淘寶體系內，對於6億用戶，100億商品，依靠傳統方式手工去推薦基本上是不可能的事情，只能依靠人工智能對數據的挖掘，靠商業的智能在100億商品和6億客戶中作推薦。雙十一900多億的營收，有300多億的超總營收三分之一是來源於智能推薦，這也致使一個3萬人的企業產生了3萬億這樣龐大的經濟規模。

企業上雲的最大障礙

將來企業作大規模雲計算的時候，會遇到一個很大的障礙就來源於數據中心。在傳統企業中構建數據中心每每採起使用複雜的硬件作集成的方式。這些異構的硬件產品在小規模的單系統狀況下，耗費一些時間去集成運維，系統所提供的可靠性保證還算是能夠的。可是若是將全公司成百上千個業務都運行在同一個系統上面的時候，靠簡單硬件的高可用已經不足以承載，由於在5000臺機器的規模下，天天都有超過10臺硬盤的損壞，以這樣維修的機率，若是不以軟件的方式和智能化的方式加以解決，徹底靠硬件的集成方式，是無覺得繼的。

更可怕的是對於這樣一個複雜的集成工程，從採購到建設，將會經歷一個漫長的的週期。這樣作雲計算反而制約應用的發展，由於過去一個系統採購一套設備，仍是等得起的事情，可是當幾千個應用都須要等待這個雲平臺的建設來開通的時候就是個等不起的事情了。

安全一樣也是，政策法規、信息安全的一些隱患、現有系統的投資等等問題，都致使企業不可能一步就走到公共雲上去。在這樣的狀況下，企業要解決這些困惑，要上雲該怎麼辦呢？

阿里巴巴做爲一個企業，咱們也親身經歷過這樣的過程，而也把這個過程得到的收穫總結成公共雲，而且服務了衆多的小微企業。如今咱們也嘗試用混合雲的方式服務大型企業。阿里雲是怎樣發揮本身的特長去幫助企業的呢？阿里雲能幫助企業解決剛纔提到的一個比較嚴重的上雲障礙。能夠用數字來證實咱們真正作到了，雙十一是對咱們業務的強大的挑戰，但對於技術而言，雙十一也是孵化新技術良好的土壤。經過3億用戶同時在線，每秒產生14萬筆訂單，進行8萬多筆支付交易的強事務處理的場景，以及天天要消化掉200PB的數據，產生對於客戶的洞察，進而使智能化營銷和智能化推薦造成閉環。

咱們孵化出來了以淘寶體系爲核心的分佈式架構，也孵化出來了相似於谷歌那樣的大數據處理的平臺。這些都是從經歷十多年的堅苦卓絕的鬥爭中積累下來的。

淘寶催生分佈式應用架構

2003年開始的時候，淘寶只是一個很是簡單的網站，一個如今你們均可以作的LAMP架構的網站。可是到如今已經經歷了5個階段，經過不斷解耦，經過分佈式架構的1.0,2.0,3.0這樣的逐步演進，咱們已經可以作到把交易，消息以及數據庫都徹底作成分佈式的。也就說在數據層面，應用層面，進入方面和查詢方向，全都以分佈式的結構來搭建系統，使得整個系統不存在性能以及擴展的瓶頸。

開放技術能力

咱們的架構總結下來是這樣的，全分佈式的體系，訪問層，應用層和數據層都是分佈式的，這使得核心系統也是分佈式的。爲應對大規模的挑戰，咱們在前端經過CDN把內容緩存在離客戶最近的地方來提升客戶體驗。在2015年的時候，咱們將這個架構變爲產品，讓任何一個企業，哪怕是小微企業也能夠構建像淘寶同樣強大的在線交易系統，幫助這些企業在作「互聯網+」轉型以及業務轉型的時候得到最大的技術基礎。

阿里雲大數據發展之路的三次突圍

可以把雲計算的三個方向整合到一塊兒的另一個方向就是大數據的處理。阿里雲的大數據處理也是通過了從2009年到2013年這五年的孵化，在2009年的時候，咱們仍是亞洲最大的Oracle集羣，可是仍是已經沒法承載飛速發展的業務。

因而咱們選擇了3條分支路徑去探索後面的路，第一條路徑是用商業的Greenplum來替代分析型數據運算；第二條路是由於擔憂Greenplum不靠譜，咱們也使用Hadoop作相似的事情；第三件事情，就是啓動了飛天操做系統的研發，目標是打造一個屬於本身的大數據平臺。中間的歷程很是坎坷，到2010年的時候，Greenplum這條路由於規模和可用性的問題以及計算準確性問題被放棄；2013年的時候，Hadoop平臺也由於數據中心規模擴展不上去和安全管理以及權限管理和資源管理等一系列問題，最後不得不放棄這套體系。

「飛天」涅槃

 

最終咱們使用自主研發的「飛天」操做系統將五千臺機器整合到一個大平臺，用「飛天」操做系統可以分佈式地部署到異地的多個機房的能力實現了大數據計算和存儲能力。「飛天」操做系統幫咱們真正實現了夢想：把三個雲計算方向整合起來，提供通用的計算能力，提供一種足夠便宜足夠強大的計算能力。

經過使用安裝了Linux系統的五千臺相同的計算機，經過「飛天」的分佈式文件系統，整合成爲一個分佈式系統，開通了三類服務：

第一類服務：彈性計算，就是應對虛擬化的服務，可是它不僅虛擬化，彈性計算能夠作計算虛擬化，存儲虛擬化，能夠提供更增強大的計算環境；

第二類服務：提供淘寶這樣強大的分佈式應用中間件來幫助企業打造分佈式應用；

第三類服務：大數據處理和數據智能的這些業務，這些業務都是依賴於咱們的大數據處理能力進行的。

數據處理能力推進智能業務

經過「飛天」系統成功地將三種雲計算以及雲計算路線整合到一個平臺當中，有了這個平臺的支持，才使得整個企業的智能化獲得了長足的發展。在智能化發展過程當中，咱們基於這些計算能力，逐漸壘高了技術和模型的儲備以及對數據應用的儲備，一層一層地從分析工具到應用引擎再到解決方案，支撐了阿里巴巴整個智能化的人力資源，智能化的安全管理，智能的物流客服以及智能化推薦，這些也支持阿里巴巴整個集團業務不斷前進和發展。

十年攻防鑄就雲安全

在這個的過程當中，阿里巴巴做爲一個互聯網公司，在快速發展業務的同時也在遭受世界上最多的互聯網攻擊。

統計數據顯示，咱們天天會防護2億次暴力破解，2000萬次Web入侵，超過1000次DDOS攻擊，在這樣惡劣的環境下，咱們用10年的時間產生出一整套安全體系和服務產品。這個產品從感知態勢就能夠知道，哪些壞人，哪些惡意的行爲在哪裏發生，以及他們用了什麼樣的服務器，誰是主控，對咱們在進行什麼樣的探索行爲，背後的人是誰，他的身份證號碼是多少，這些東西，咱們都經過感知的基礎之上進行捕獲。

基於感知的基礎就能夠作到知己知彼，才能夠百戰百勝，打敗敵人的同時對本身進行保護。咱們的產品服務有網絡層面的保護，也有服務器主機層面的保護，更多的會上升到業務層面的保護以及對於數據的防禦。

舉個態勢感知的一個例子，雙十一當天，有不少機構和競爭對手在對咱們發起攻擊。這些攻擊行爲來自世界各地，來自機器和人。經過對其進行追溯，咱們構建出了一套以大數據爲核心的安全體系，圍繞着網絡，應用數據，造成了各個維度的全鏈路的閉環式的聯動安全體系。

這套安全體系，不只在保護着咱們本身，同時也在保護阿里雲的用戶，幫助他們修復天天6000屢次的高危風險，阻礙1000屢次DDOS攻擊，攔截2000萬次的Web滲入和2億次主機暴力破解，爲阿里雲百萬客戶保駕護航。

軟件定義數據中心

對於從用戶提供的服務中沉澱下來的能力，用一句話總結就是：軟件定義數據中心。在如此大規模的情景下，咱們沒有辦法靠傳統方式去堆疊硬件，去作集成和作分段維護，咱們必需要有新的方式：基於最簡單最普通最標準化的硬件構建底層，而後用「飛天」操做系統將幾千臺機器整合成一臺機器，在其上爲你們提供軟件定義存儲的服務。客戶須要對象存儲，阿里雲就提供對象存儲，不管如何必定會解決客戶的存儲問題。

軟件定義網絡的服務，須要安全網絡VPC，須要負載均衡和高速通道，阿里雲均可以幫用戶提供，不須要客戶去獨自支撐這樣的服務，也不須要客戶再去手工操做。以後再將安全包括剛纔提到強大的雲盾，安騎士態勢感知做爲一個防禦體部署在數據中心之上。

有了這樣的軟件定義存儲、網絡和安全以後纔算是提供了真正的彈性計算。

有了阿里雲自主研發的這些技術優點，纔可以支撐咱們在全球快速地部署雲計算業務，而且快速穩定地運營雲計算業務。

由於這些特色，阿里雲在公共雲上有了很大的突破，海量用戶和應用都承載在咱們雲服務的資產之上，使用了彈性計算、中間件、大數據的存儲計算、智能化的應用開發的能力以及安全和監控雲服務。

「專有云+公共雲」提供上雲最佳路徑

考慮到國內的一些實際狀況，一些企事業單位上雲遇到了不少痛苦和困難，咱們就把軟件定義數據中心，大數據計算的能力和分佈式應用的能力做爲一個「三位一體」的解決方案，經過專有云的形式，部署到企事業單位的體系內，幫助企業單位去享受互聯網技術帶來的賦能。同時也解決企業不能使用公共雲的困惑。

咱們還發現企業仍是須要「互聯網+」的，這時候咱們就以混合雲的方式解決問題。企業內部在成員企業和總部內部署本身專有云，做爲本身集中化演進的過程，經過阿里雲公共雲的VPC資源與專有云進行打通，爲企業提供快速解除「互聯網+」的通道，這樣的方式稱爲混合雲。

混合雲有不少實際的落地實現，舉個例子：中國石化在本身機房內建設了一個私有云，同時在阿里雲公共區域也申請了幾百臺虛擬資源，彈性計算資源和分佈式架構資源，它的公共雲承載了面向客戶的電商業務以及對外其餘業務，在專有云上承載了智能物流，智能煉廠，智能油田，大數據安全以及企業內部安全的一些應用。

這一套體系中，應對將來物聯網飛速也有一個專門的參考架構：實時的數據上報，將數據快速的沉澱到阿里雲的離線計算平臺當中，總結出預測性的模型，在實時的流量計算服務單元裏面加載，進而幫助咱們進行實時的智能判斷，而後同時經過數據存儲單元和數據轉換單元實現智能化和圖形化的應用。

這裏的一個應用例子：威派格智慧供水業務，它實現了TB級的設備時序數據在平常監控，歷史狀況回溯，和時指標統計，咱們的架構應用於在這個企業所管理水房，泵房以及設備的故障規則預警與智能故障預測等多個應用場景。

阿里人工智能的將來

基於整個大數據平臺之上，將來的發展方向是人工智能。智能上一些新的技術每每從娛樂方面開始的，阿里雲也在娛樂端作了一些人工智能的嘗試，阿里雲小Ai在歌王挑戰中準確預測了前三名選手的順位，幫助咱們證實了在阿里星球強大的數據支撐下，用500萬首歌曲訓練後獲得的強大預測能力。只有強大的計算能力支持才能開展人工智這個領域的探索。而這只是開始，阿里雲將來將會針對各行各業開展人工智能的應用。

（本文根據阿里雲技術專家宋傑在5月17日舉辦的2016雲棲大會·武漢峯會上演講整理而成）