國內雲計算的缺失環節: GPU並行計算（轉）

【IT時代週刊編者按】雲計算特有的優勢和巨大的商業前景，讓其成爲了近年來的IT界最熱門詞彙之一。固然，這也與中國移動互聯網的繁榮緊密相關，它們須要有相應的雲計算服務做爲支撐。但本文做者祁海江結合自身的經驗，對國內目前的雲計算服務進行觀察後認爲，國內雲服務商多數採用過於簡單粗放的「遠程機房+移動大硬盤」模式，不能知足並行圖形處理的計算需求，「應認清技術潮流，整合前沿計算工具，儘快推動雲GPU並行計算服務，促進中國移動互聯網總體技術水準攀升。」那麼雲GPU並行計算服務有多重要？做者在文中做了深刻淺出的解讀，字裏行間也能一窺國內雲服務的誇大與事實上的落後現狀。

本文做者祁海江，青島五脈泉信息有限公司技術主管，賓夕法尼亞大學博士，南京大學碩士。多年從事圖形圖像、3D視覺、神經計算、機器學習等算法研究。

聯繫方式：青島五脈泉信息有限公司 pentoring@163.com ; pentoring@gmail.com

 

      很長時間以來，雲計算成了一個熱鬧詞彙。那麼到底什麼是雲計算呢？它本質上是一種社會智力資源的共享，經過雲端的技術封包，下降了難度門檻，使得更多用戶能夠採用各類本來「很難很先進」的技術。

      這種技術能夠應用到什麼地方呢？咱們看到如今中國的移動互聯新經濟高度繁榮，這就須要有相應技術高度的雲計算服務做爲龍骨支撐。但如今中國的雲服務商多數採用過於簡單粗放的「遠程機房+移動大硬盤」模式，不能知足並行圖形處理的計算需求。按照當今計算技術的趨向看——「視頻音圖+3D+規模機器學習+大數據分析=》高強度計算任務=》雲GPU並行運算」，運營商應儘快認清技術潮流，整合前沿計算工具，儘快推動雲GPU並行計算服務。這是由於：

 

1:現行的圖形、圖像及3D計算在各類視頻遊戲、電影產業、工業設計、醫療成像、空間探索、遠程通信等方面有着普遍的應用。

        隨着計算機技術的發展，人們對圖形和圖像的處理要求也愈來愈高，尤爲如今興起的3D技術，使圖形圖像處理和3D計算已經應用到了各類視頻遊戲，電影產業，醫療成像，空間探索，遠程通訊等各個方面。

      如今風靡的大型3D遊戲，諸如《使命召喚》《極品飛車》等，這些遊戲畫面逼真，3D特效強烈，因此要求計算機對圖形圖像的處理能力要求也很是高。 2010年放映的電影《阿凡達》開創了動畫形象代替了演員的3D電影的先河，它完美的運用了3D立體畫面的創造了逼真的效果使畫面美輪美奐。在工業設計上，有不少廣爲人們熟知的3D處理軟件，例如AutoCAD，Maya，SolidWorks等知名軟件。在醫療成像方面，3D/4D立體成像技術，使醫護人員能夠得到從傳統平面顯示沒法捕捉到的信息數據，可以360度全方位立體讀取影像信息，爲臨牀診斷提供了更豐富、精準的影像資料，大幅度下降了對病竈的漏診，提升了診療質量，必將掀起醫療影像信息處理的一次技術革命。

     伴隨着IT互聯網以及手持終端的發展和普及，要處理的數據量的爆發式增加，手機上也出現了3D遊戲的發展趨勢，這些都對數據圖像和3D計算提出了更多的需求。

     由此看來，目前對圖形圖像以及3D計算的巨大需求，已經要求計算機須要具有強大的3D建模能力，然而CPU的串行處理能力遠不能知足高效的處理圖像以及3D計算的能力，所以並行計算技術的使用日益普遍。

2:以美國NVIDIA公司圖形顯示卡的CUDA運算包爲表明的GPU並行運算技術，已成爲工做站、服務器、我的電腦的標準組件。

        GPU是電腦圖形顯示卡上負責圖像運算工做的微處理器。著名的顯示卡公司NVIDIA爲其主流顯卡產品設計了專門的GPU並行計算工具包，稱之爲CUDA（ComputeUnifiedDeviceArchitecture，統一計算架構）。

     以GeForce8800GTX爲例，其核心擁有128個內處理器。利用CUDA技術，就能夠將那些內處理器串通起來，成爲線程處理器去解決數據密集的計算。而各個內處理器可以交換、同步和共享數據。利用NVIDIA的C-編譯器，經過驅動程序，就能利用這些功能。亦能成爲流處理器，讓應用程序利用進行運算。GeForce8800GTX顯示卡的運算能力可達到520GFlops，若是建設SLI系統，就能夠達到1TFlops。

     有軟件廠商利用CUDA技術，研發了一個AdobePremierePro的插件。經過插件，用戶就能夠利用顯示核心去加速H.264/MPEG-4AVC的編碼速度。速度是單純利用CPU做軟件加速的7倍左右。

     NVIDIA從全部基於G80及以後架構的民用與專業顯卡或運算模塊皆支持CUDA技術。總體運算能力比單純利用CPU的速度提升7倍甚至更高。TeslaGPU是針對工做站和服務器的加速器，與消費級顯卡和專業圖形卡相比，具備完整的雙精度浮點運算性能，具有雙DMA引擎可知足雙向PCIe通訊，板載內存達到12G（TeslaK40GPU），具備專門的Linux補丁、InfiniBand驅動程序以及CUDA驅動程序，針對Windows 操做系統的CUDA驅動程序可實現更高性能，TCC驅動程序可減小CUDA內核的系統總開銷並支持遠程桌面(WindowsRemoteDesktop) 以及Windows服務。

3:以CUDA爲表明的GPU並行計算技術，在多個領域已發揮重要做用。

• 在科研界，CUDA應用普遍。例如，CUDA現已可以對AMBER進行加速。AMBER是一款分子動力學模擬程序，全世界在學術界與製藥企業中有超過60,000名研究人員使用該程序來加速新葯的探索工做。

• 在金融市場，Numerix以及CompatibL針對一款全新的對手風險應用程序發佈了CUDA支持並取得了18倍速度提高。Numerix爲近400家金融機構所普遍使用。

• 在消費級市場上，幾乎每一款重要的消費級視頻應用程序都已經使用CUDA加速或很快將會利用CUDA來加速，其中不乏ElementalTechnologies公司、MotionDSP公司以及LoiLo公司的產品。

4:NVIDIA公司很是重視GPU並行計算在雲服務器上的嫁接，美國已有數家雲服務商提供GPU並行的雲計算服務。

• 2009年10月20日，NVIDIA與Mentalimages聯合推出一款基於雲計算的高端服務器——RealityServer。

• 2012年5月17日，NVIDIA推出利用GPU加速雲計算技術。

• 2012年10月17日，NVIDIA推出了首款雲計算虛擬GPU加速平臺——VGXK2。

• 2013年GTC大會上，NVIDIA帶來了在雲計算領域最新的產品服務器平臺——NVIDIAGRID。

      隨後幾年時間裏，美國多家服務器廠商推出了各自的基於GPU並行計算的雲服務平臺。如今提供GPU雲計算的服務提供商主要有Amazon，Nimbix，Peer1Hosting，SoftLayer, PenguinComputing等。

5:一個讓人十分費解的局面是，國內各大雲服務提供商（諸如阿里雲、盛大雲、萬網雲）彷佛對GPU並行計算沒有任何動做。

        自從雲計算的概念提出，迅速在中國IT界造成了熱點，大大小小的雲服務商如雨後春筍般出現。幾大雲服務商以各類名目強調自身特點的雲計算服務組合，如阿里雲的「飛天」平臺；百度BAE雲平臺；浪潮集團創建的HPC/IDC、媒體雲、教育雲；華爲公司彈性雲計算FusionCloud戰略；騰訊雲生態系統；華雲數據公司推出的運營型PaaS平臺。

      然而在形形色色的各類名號之下，各家公司的服務內容很是同質化，基本都是網絡存儲 + 虛擬CPU計算時段租用的模式。對用戶真正的運算需求理解挖掘不夠，每每只是把一些淺層的PC功能簡單轉移到雲端，對於複雜度高、維護難度大的運算功能未能提供虛擬層的解決方案。換句話說，凡是用戶在PC端已經能輕鬆愉快作的事（好比辦公軟件），雲服務商不厭其煩的去勸說用戶將其轉移到雲端，而中小企業用戶感到力不從心、真正須要幫助的具備技術難度的運算功能，雲服務商就一問三不知了。

      近期，筆者單位因爲爲客戶開發的應用涉及高強度的數據處理，須要並行運算。咱們與多個雲服務商接洽，均未見有提供GPU並行運算服務。這是一個讓人難以理解的局面，電話聯繫雲服務商相關工做人員，他們的典型反應以下：

（客服人員）「這個咱們不是很清楚，幫你轉接技術人員」。

（技術支持）「沒怎麼據說過，這個國內好像尚未吧？」

（技術經理）「咱們的服務器能不能加載GPU並行運算不清楚，不太瞭解市場有沒有這樣的需求」。

      高性能並行計算主要採用CPU+GPU的異構模式，這種構架已經成功的在雲服務器端實現資源虛擬化。但使人迷惑的是，中國國內各大雲服務商的官網連 GPU並行運算的影子都看不到，甚至接觸過的各大公司技術服務及營銷人員彷佛對GPU並行運算毫無概念。如下咱們分別就幾個問題，探討這一尷尬局面的成因：

（1）難道GPU並行運算目前在國內沒有市場？

（2）虛擬化GPU並行運算在國內的實施碰見技術上的困難？

（3）各大雲服務公司管理層，是否對計算需求缺少了解、對高性能技術發展不敏感？

（4）亦或是商務決策層與先進技術圈造成脫節?

         對上述的第(1)點市場因素：如前所述，隨着圖形圖像、動畫視頻、3D運算、及大數據分析的普遍應用，對GPU並行運算的需求很高；而玩兒轉這種高大上的前沿計算，普通中小企業在系統搭建、程序開發及維護都缺少足夠檔次的常備技術隊伍，所以很是須要雲服務商的界入，下降此類技術的使用門檻，提供包括IaaS、PaaS、SaaS等整套共享租用服務。所以國內的市場需求是很是旺盛的。

         關於上述的第(2)點技術實施因素：虛擬化GPU運用於雲計算服務的技術也早已成熟。如前所述，NVIDIA公司CUDA體系與雲服務器已經有了完美的對接，在此基礎上美國Amazon，Google，Joyent等公司均已提供相應的商業雲計算租用服務。

      2014年1月，曙光公司、NVIDIA公司、思傑公司合做推出「雲圖」（W760-G10），具有GPU硬件虛擬化的能力；雖然還沒有見有明確的雲租用服務，可是能夠看出，技術實現並不是阻礙所在。

        對上述的(3)管理層因素：近年成長起來的國內明星公司，如騰訊、阿里等，都經歷了一個極短期內的快速膨脹，不少早期人員隨之天然升入高級管理層。然而，早期人員許多在自身的知識基礎、學習能力方面存着嚴重的不足。大專生去面試本科生、研究生的現象實屬常見。隨着公司業務的拓展，總體技術積澱不足的弱點顯露出來，管理層對技術的理解力與敏感度不夠。

        對上述的第(4)點因素：中國IT及互聯網的發展，曾長期奉行技術「拷貝主義」，精力心思多用於摸索中國土壤上的營利模式。中國企業對於應用層面的市場敏感度是至關出色的。可是，對於深層的技術策源動向，一直是忽視的。商務決策層需倚靠技術管理層的建議，而技術管理層或者自身夠不着技術前沿、或者早已脫離技術前沿；中國高校科研機構以純文章數爲導向的研究風氣，培養不出既尖端又實用的新鮮血液給企業，也鮮有學術專家真正花心思作好企業顧問。種種緣由，商務決策層和先進技術圈是脫節的。

      所以咱們認爲，對GPU並行雲計算的市場需求和技術實現都不是問題所在。中國有志於作好雲計算服務的各個公司，有必要進一步提高其技術管理層的技術素養、商務決策層的技術意識。

【IT時代週刊批註】雖然全球雲計算市場保持着平穩增加的態勢，但也應看到，各個國家間的雲計算產業、市場和服務現況相距很是大。以中國爲例，除了上述雲服務企業存在的技術和服務因素外，傳統的網絡安全也不容忽視。有專家就指出，國內雲服務商在網絡安全方面的防禦措施仍比較薄弱。國內典型雲服務企業發生的安全事件中有50%是傳統網絡攻擊形成的，佔比達53%，隨着我國雲服務用戶規模的不斷擴大，安全問題數量也將迅速增加。

6:雲計算商應腳踏實地、聚焦本質價值：幫助衆多中小公司運用前沿計算工具，提高中國移動互聯新經濟的技術檔次。

      中國過去三十多年的經濟奇蹟，是從無到有、從低到高的迅速變換過程。在經濟層次迅速攀升的年代，昨日的成功者、今日的弄潮兒，不免不受以往經驗與習慣思惟的影響。出於習慣，凡起商業項目，重視商業渠道的爭奪、善於造勢，對於產品內涵價值的挖掘卻很欠缺。此種作生意的方式，不能否認在以往也取得過巨大的成功，可是咱們也看到，每當新流行概念出現，就呈現「衆口一詞、蜂擁而上、簡單複製、同質單一」的局面。善於熱炒，而不紮實作事，不深刻挖掘概念的內涵價值，如納米、物聯、機器人、3D打印等等流行熱點比比皆是。概念當然很好，不作實作真，終究增長不了硬實力。

      雲計算服務，經過將繁瑣的技術維護的移至雲端，把「很難很先進」的技術功能打包封裝，下降用戶使用的技術門檻，實現社會智力資源共享。而現今中國的大大小小云服務商，簡單講就是個「遠程機房+移動大硬盤」模式，意義着實有限。當今世界經濟幾乎惟中國一枝獨秀，中國名企牛氣沖天，何以搞個雲計算卻停留在如此低的層次？歸根結底還在於商務觀念未脫落低水平市場中粗放競爭的歷史烙印，不習慣經過深挖技術內涵，發揮內在價值而創建商務優點的路線。

      雲計算做爲一個「很實在很技術」東西，服務對象是商業應用型公司，具備理智化決策的行爲特徵。腦白金式的矇蔽營銷手法登峯造極，放在這裏卻未必有效。中國的移動互聯新經濟在應用層面，欣欣向榮，活力四射，全世界首屈一指。相應的，雲計算服務做爲其龍骨支撐，不跟上是不行的。大量的視頻音圖+3D+ 規模機器學習+大數據分析=》高強度計算任務=》雲GPU並行運算，這是一個很是簡單明瞭的推導鏈條。何須瞻前顧後，剪不斷理還亂？

【IT時代週刊編後】做者的這篇文章直接點出了國內雲計算與先進國家的差距。在美國，以微軟、谷歌、亞馬遜等巨頭爲表明的IT企業，正在不斷鞏固自身在雲服務上的優點地位，並且不斷向海外市場拓展。有數據顯示，全球前100個雲計算企業中，超過80家是美國企業。而相比之下，國內雲計算市場的體量雖然說也在不斷增大，但云服務企業的技術和服務有待提升、服務易用性、安全性、數據的遷移與分配等都有很是大的提升的空間，要作出調整和改進，首先須要改變以硬件採購爲主的市場結構才行。