高性能計算（HPC） 2011總結與2012展望

 今天是2011年最後一個週五，倒數第二個工做日，在老美、老歐們本週所有過節失語時，仍是有一些專家（注意不是磚家）教授（注意不是叫獸）仍然在進行年終的總結和下一年的展望，想一想其實咱們比彼岸的那些大佬們幸福，由於元旦事後，中國人的大節纔開始接近，和元旦一塊兒先後歷時整整一個月時間，無意工做啊，就算我等乙方有心，客戶們也都張羅着放假了，喜慶的氣氛逼近中....  而老美老歐們過完聖誕和元旦就得正式開工了，信基督的慶祝完本身主神的生日，不信基督的趁機放假購物血拼，13薪、14薪.... 27薪的也拿完了，上班吧，所謂西曆果真是爲西方準備的日曆...  那邊也會有些過年控會堅持年並無過完，是啊，離財年結束還有一個月時間，但是13薪都發完了，財年還有什麼意義呢

回到咱們的主題上來，作爲DELL HPC Sr. Advisor，我認爲有必要去看一下這個階段還在工做的美國大佬們的評論，聽一聽來自HPC的翹首米國的言辭並介紹給各位同仁。

仍是先從TOP500提及吧...

 

上面兩張TOP500的統計餅圖，左邊是按供應商的裝機數量統計的結果，右邊是按供應商提供系統的總性能統計的結果。這兩張圖我並不肯意經常使用， 由於DELL在其中的比例實在是不怎麼好看，但我歷來沒爲此灰心過（至少DELL都出如今裏面 ^_^），用積極的心態去看有兩點：一是根據目前的狀況，咱們還有大量的上升空間；二是若是看TOP5000的話，DELL的份額會很是之好，固然沒有數據僅爲推論。SMB是DELL最擅長的市場，而LE是正在攻堅的方向…

本文仍然專一於主流的HPC 供應商和熱點話題的分析上，儘管DELL並不屬於1st- class的陣營，但並不影響咱們以一個跟隨者的目光去研究HPC最上層社會的格局和了解高屋建瓴的謀略與思想，據說始皇帝建國時，劉邦不過是個亭長…

在HPC第一廠商陣營裏，除了IBM和HP兩位熟客，還有一些看上去並不是主流的IT廠商，從總性能統計圖中咱們看到IBM/HP佔的比例遠小於按系統套數計算的結果，卻出現了像Fujitsu/Cray/Bull/Appro/Dawning這樣品牌上難以與IBM/HP/DELL抗衡的玩家，幾年前甚至還有更偏僻的如Linux Networx這樣的來自山溝戈壁裏喝風長大的小廠也能分一小塊Pizza 走。另外榜單上沒法顯示卻在HPC中有重量級地位的像DDN/Mellanox/PGI/Platform這些沒有主機產品（無浮點計算能力啊）卻提供重要系統部件如存儲、網絡、原代碼編譯器及集羣管理調度等組成部分的小衆品牌，更有像Lustre/Goto/PBS等少爲人知的開源大做， 我早在給你們介紹HPC行業時就說過，HPC看上去很火，實際上是一個劍走偏鋒、小俱樂部成員、垂直度很深和爲達某些目的而採起極端手段的領域，這和另外一個也很火爆的概念雲計算走的路好像正相反….  在你們都開口必稱雲解決方案，說本身是雲俱樂部的重要成員時，上面那些小品牌HPC廠商基本沒有這樣的言論出現，很低調是吧，的確兩個概念目前還沒法融合，這很現實….

從統計餅圖上看，這些品牌加起來的性能之和已經接近兩大巨頭，裝機數量卻少的可憐，如Fujitsu在TOP500榜單上只有四套系統，CRAY的總數也很少，但性能上卻加起來接近30%，超過老大哥IBM的27.3%，爲何，由於每套系統都是頂級的，這種非主流廠商一年也作不了幾個系統，作成一個就是巨無霸，買家是誰，不用問了，基本全是以米國政府爲背景的國家實驗室、能源部和軍方。對了，這裏有個奇怪的名字：NUDT，佔了4.5%的性能Pizza，其實就靠一套上榜的系統奪得的成績（很厲害目前排在第二位，之前呢，排在第一，汗...），這誰啊，天朝的國防科大呀，買家呢？不用說，你懂的。這麼牛的系統在幹什麼？一說啥都幹忙得不行，二說就爲跑個Linpack狂加GPU衝擊名次到目前還空在那裏。到底怎樣，咱不清楚也不便發表言論。 固然，我並無說IBM、HP包括DELL就作不出巨無霸來，事實上，這幾家都有各自的頂樑柱系統存在，不會比這些小衆品牌作的東西差，但考慮到品牌、資金和規模等綜合因素，小衆所表現出的專一和與敢與強勢品牌對抗的決心，仍是值得整個HPC業界及用戶爲其鼓掌....   DELL嘛，有時還真很差說是哪一邊的....  DELL作得最大的HPC系統是什麼，排在TOP500的No. 39位，在老家德州大學的TACC（Texas高級計算中心）的刀片集羣系統。注：此德州非我天朝出扒雞的那個地方，那裏有個德州學院是真的，就那小學校也有幾套HPC....

說了這麼多廢話，讓咱們切入主題吧，聽一聽幾位美國HPC領域的媒體編輯、調查機構的專員們如何評論HPC這一年的表現和明年的預期，下面的意見和論點來自一段13分鐘的英文錄音，MP3格式，download from www.hpcwire.com , Download了，有人興奮嗎？

由於是取其論點，必須說起可以聽到名字的專家：Michael Feldman和Addison Snell。不要覺得媒體的編輯和獨立評論員就不是專家，NBA的全明星球員是誰選出來的，記者。中超的比賽結果誰指定的，領導，固然後來都被抓進去了。因此來自第三方的評論至少是客觀公平的，也不乏專業的。受限於我的的英文水平以及原始資料只有錄音沒有文本，不會放上來逐字逐句的全譯文，同時也查閱了其它相關資料，截取概括了對話中的主題意旨，謹爲HPC關注者作參考：

 

1. 上來你們say hello，看上去都是老朋友的樣子，說些聖誕到了你們還在工做之類的開場白，按下不表。

2. 開始討論過去一年中的Big Story，所發生的大事件。第一個大事件，被認爲是IBM在NCSA的Blue Waters工程中的跳票。 用戶是NCSA，即美國國家超級計算應用中心（National Conter for Supercomputing Applications），系統名稱爲藍水（Blue Waters），看名字就知道是IBM的業績，藍色巨人一直標榜其藍色因素（但DELL和HP的LOGO也是一樣的藍？），以前的巨做有贏了國際象棋大師的深藍、勞倫斯利弗莫爾國家實驗室的藍色基因，以及此次的藍水工程，總之很藍就是了。藍水第一期由IBM Power7芯片構成，但到了2011年中期，IBM認爲這個項目不賺錢而停止合同，退出了（Walk away），奇怪停止合同難道不受罰的嗎？後來NCSA很快又找到了其它的替代者-CRAY，其實還有三家願意來但未入NCSA法眼而不予公佈了。給了CRAY近兩億美金的合同，讓其Redo藍水工程，項目名稱不變，只是硬件結構和供應商換了，CRAY很哈皮，說這與其公司發展的願景很是吻合，又說接管藍水會帶來更多的機會等等，但我我的覺得，IBM又不是傻子，會無緣無故的退出嗎？CRAY的接管付出了什麼代價又得到了什麼潛在的利益，對話中沒說，但我找了其它文章，記載了CRAY老大Mr.Ungaro的話，其重點在之後的指望上。這不得不讓我想起在國內的各大超級HPC DEAL，哪個不是大傷元氣血拼纔拿下來的？US，看來也差很少。 接着談到了CRAY在接管後，二期的藍水已經改爲了X86爲主的結構，採用AMD的X86處理器爲主，Nvidia Kepler GPU爲輔來實現異構計算平臺，Kepler GPU是目前Fermi系列M2070/2090的下一代，還在roadmap上沒下來，但性能超越Fermi一倍。最後評論員感嘆，在米國本身的國家裏，IBM都作這樣的事，真是即尷尬又不幸啊。我的覺得，有啥不幸的，蘋果還忽悠你們一個4S，微軟跳票就更是屢見不鮮了，最重要的，用戶給的和廠商要的是否匹配？但我也懷疑，米國借全世界的錢買東西，不至於這樣小氣啊，是否是此次是拿納稅人本身的錢啊？

 

 

3. 下一個大事件，被認爲是TOP500的當今的首領：來自日本的Fujitsu K Computer（K用日文寫出來就是漢字的「京」）.  先從數字上看一眼這個你們夥，當人們剛剛開始歡呼HPC進入千萬億次（Pflops）的時代不久，K就把這個數字提升了10倍，歷史上首次得到了10.5 Petaflops的實測峯值，是第二名的5倍， 比第三名到第十名峯值相加之和還要多，用鶴立雞羣來形容真是太正確不過了，專家預測，K將會在TOP500的榜單上保留第一的位置好久，直到其它的系統大量使用新的GPU來超越它，注意，K Computer中並無使用GPU來輔助或者加速，這又是一個了不得的事情，在Nvidia大肆宣傳GPU將取代一切HPC時，K從容的坐在王冠上澆下了一桶冷水。但強大並不表明通用，K的結構幾乎徹底不一樣於常規的Cluster，採用不少私有的技術和架構，不能像唐駿的文憑同樣隨意複製和購買。好比其採用的內部互聯網絡叫作豆腐（Tofu），說是比InfiniBand還快，我想這麼奇怪的名字也只有CRAY的雙子宮網絡（Gemini）可以和之相比了，至於豆腐和雙子宮是什麼網絡系統跑什麼協議，有興趣的朋友能夠本身去調查，爲何採用這麼不通用的硬件，由於要實現不通用的性能和目的，市場上沒有現成的，就自個兒造一個，作成了其餘人也用不了。記得我先前說得話麼：爲了達到目的而採用極端手段，私有化的網絡就是一個例子。要達到什麼目的？很是簡單，就是獲取高性能計算的能力。 評論說，K Computer在2011年中出現並跑出了很是好的測試數據，實現了第一臺10Pflops的系統(萬萬億次誕生了，萬萬億啊，這麼多數，掰手指是數不過來地，找張紙畫一堆零吧，1後面16個0，不信的話本身算算)，K及時提供了本年度內日本分析所遭受的地震、海嘯和核電站事故所須要的計算力，是一臺很是impressive的高性能計算系統。因爲出現的時機如及時雨通常，可與另一位TOP108的首領宋江相媲美.... 

4. 再一個大事件，很差意思，沒了... 不是沒了，其實有不少，但評論就只談了以上兩個，我也不能亂加上去，評論在說完兩個大事件後，直接轉向HPC發展趨勢的分析上（TOP TREND）

5. 說到趨勢，評論所談到第一個主題居然是中國+GPU。Michael剛從北京的Nvidia GPU大會上回來，大會於12月14-15日在鳥巢旁邊的國家會議中心舉行，若是知道Michael會去(不會是去看鳥巢的吧？)，我怎麼也會抽時間到現場和他聊幾句再合個影啥的，惋惜被別的事情佔了時間。美國人對中國HPC欣欣向榮的市場和快速的發展驚訝不已，說不管是在TOP500的衝頂路上，仍是散落在民間的各類小型HPC系統，都給老美留下的很深的印象。尤爲是中國的系統會大量採用GPU這種先進的玩意，太厲害了，從他們的話語間能感到真實的震撼，評論說到，中國就是下一個趨勢所在，下一個HPC熱點所在。我心想，大家是故意的，仍是裝傻騙世界人民呢？中國的HPC硬件水平的確已經到了令全球矚目的狀態，問題是，沒有什麼核心代碼在手上啊。HPC所解決的問題，全是靠計算類代碼，或者說軟件程序來直接完成的，HPC只是墊在下面的硬件盒子，沒有軟件代碼，HPC系統不過是一個熱的發燙的機器而已，除了高碳耗電有啥用啊。我想美國人不是不明白，就是在裝可愛，把中國先頂上天去，說多麼厲害，再進行制裁限運什麼的。看看咱們可憐的國人，不管是哪一個HPC行業，基本全都是在開源代碼的基礎上進行二次開發，好比和民生相關的天氣、醫藥、汽車、動漫、化工等，和國家實力相關的能源開採、武器製造、環境科學、金融分析、空間探索等，連開源的代碼都很差搞到，空有機器跑Linpack，有價值的代碼都在米國、日本、法國甚至以色列等國的手裏，實在是咱們國家根兒上的痛啊.... 人才在哪裏？？沒人回答，都移民了....

6. 評論接着上面的話題，很天然的切入GPU在HPC中的應用。首先，GPU出如今HPC中已經不是什麼趨勢，在以前的兩年內，已經有大量的GPU實際應用案例。評論談到，會有愈來愈多的Vendor參與進來，我想所謂Vendor的概念，應該就是將應用代碼轉換到GPU平臺上的開發者吧。多是專家們認爲這個話題已經談論的太多，就此停止了，沒有更多的陳述在GPU上。其實不用說太多，就證實GPU已經足夠火了。

7. 下一個TREND，談到了Lustre並行文件系統。記得我上一篇文章：高性能計算系統的存儲選型，最後所談到的那個文件系統嗎？正是這個Lustre，佔了TOP100 50%份額的並行文件系統，鼎鼎大名的開源巨做，來自根據卡耐基梅隆大學的算法爲美國能源部開發的原始文件系統，Lustre的名字來源於Linux+Cluster。評論先是談到了對Lustre幾乎沒有什麼貢獻卻差點扼殺它的正主：Oralce/Sun，Lustre是個開源代碼，品牌最開始被CFS公司擁有，SUN買下了CFS獲取了Lustre，Oralce後來又買了SUN而繼承了Lustre的名譽全部權，但因與Oracle公司的發展路線不符合，被打入冷宮，而後作Lustre的人陸續離開了Oralce，去了其它的Lustre社區、公司或者用戶那裏。評論談到，目前是由Lustre的社區主要在維護Lustre的開源代碼，有不一樣的組織開發出不一樣基於Lustre的解決方案，如OpenSFS/EOSYS/Terascala/Panasas，還有像DDN/CRAY等直接養一票技術團隊本身操做Lustre的廠商，而社區中所認的最源頭的Lustre維護組織，是一個叫Whamcloud的公司，作Level 3級別的支持和維護工做，主要技術開發力量在哪裏？還用問嗎，中國和印度啊。評論說到，通過近幾年的發展，TOP500對這個開源文件系統愈來愈重視，使用愈來愈多，重量級的HPC用戶，如那些個米國國家實驗室，都會有本身的Lustre團隊專門負責，這些團隊和民間的社團組織和公司一塊兒，拉起了Lustre的大旗。說一下Lustre的最大對手，是IBM的GPFS，在Lustre理念的基礎上增長了不少高級特性，如MDS的負載均衡，支持UNIX/Windows和Power芯片等，很厲害，但屬於商業軟件收費很貴。

8. 話題繼續，異構平臺（Heterogeneous/Hybird），其實就是CPU+GPU平臺，有加速器（Accelerator，目前以GPU爲主，還有FPGA等更難使用的加速器）的系統，不可避免的又談到Nvidia，此次出現了強有力但一直沒發力的競爭者： Intel公司。英特爾集成衆核(Intel MIC)架構的下一代平臺，一直以來都是人們看好的加速器產品，但一直沒有正式發佈，不知他們在想什麼。對了，Intel也是跳票磚家，和MS、Apple同樣，但人家有本事啊，不出來你們除了等沒有什麼辦法，但加速器市場不一樣，還有個華人開辦的公司Nvidia在盯着，有競爭老是好的... 但也不必定哈，好比天朝石油和上國石化，天朝移動和上國聯通，所謂的競爭就是讓老百姓掏更多錢.... Sorry, 這不是評論中的話題，跑題了

 9. 下一個話題，就是大數據（Big data），在存儲業界，大數據早已是熟悉的名詞（及渾濁的概念）。HPC也不例外，由於HPC系統中有一個重要部分就是存儲。正爲了解決存儲的帶寬、延遲、容量、備份這些問題，纔有了以上所說的Lustre/Gemini/DDN等技術、產品及公司等，HPC存儲所佔的採購成本比例不如服務器節點那樣大，但對性能的影響佔到50%以上，調試時出問題的機率在80%以上（link to 高性能計算中的存儲選型，這也是我爲何單獨寫一篇這樣文章的緣由）。評論並無細節的談到大數據是什麼，如何作，只是提到這個概念會成爲一種趨勢。還額外談到了HPC會隨大數據穿越到其它的行業等話題。

10. 十三分鐘的對話很快，最後你們互道Merry Christmas and Happy new year，來年再加把勁幹吧，大家老美幹吧，中國銀要過大節了，（超鏈接到本文開頭那段）。 一月底的那一週不要打擾咱們，就像本週咱們不騷擾大家同樣，另外那段時間也不要來中國travel，不是不歡迎大家，怕大家被人類歷史上有最有規律的大遷徙給嚇着....

立刻要踏入2012年了，趁着年末有時間，本身攢了一篇小文以餮讀者，也算對本身所服務的HPC行業的動態有個記錄。這裏是博客，我我的覺得寫得好很差並非關鍵，事情天天都在發生，記下來纔是王道，尤爲在新舊交替之時..... 個人博客的特色是文字多，圖片少，廢話多，知識少，常常跑題，可讀性很是差，我感謝讀到這裏的每一個讀者的耐心..... 最後祝你們過年好！

 

金 鵬

Dell HPC Sr. Advisor 

Peng_Jin@Dell.com 

更多精彩文章請關注:

戴爾技術社區