採用間接混合冷卻方式的液冷服務器曙光TC4600-LP,將液冷與風冷方式有機地結合一塊兒,下降了液冷服務器的使用門檻,在爲數據中心用戶提升效能的同時,還節約了成本。服務器
大到數據中心機房,小到一臺服務器,大多數都採用風冷的製冷方式。可是衆所周知,風冷的一個致命缺陷是冷卻系統能耗高,由於空氣與液態冷媒相比,輸送功率大、傳熱溫差大、風扇功耗大。中科曙光數據中心產品事業部總經理沈衛東舉例說,採用風冷服務器、機房空調機的數據中心,在不考慮UPS系統的狀況下,其PUE指標也不可能低於1.4,而採用液冷服務器、天然冷卻冷站的數據中心,PUE值能夠輕鬆下降到1.2如下。ide
在2014年6月舉行的ISC14國際超級計算大會上,曙光發佈了國內首款全浸泡式液冷服務器PHPC300,當時就有參觀者提出想購買。可是,全浸泡式液冷服務器目前仍處在完善之中,距商用還有一段距離。看到用戶對液冷服務器的強烈需求,曙光在今年8月又發佈了間接混合冷卻式方式的液冷服務器TC4600-LP,它將液冷與風冷方式有機地結合一塊兒,已經實現了批量發貨。TC4600-LP服務器的出現下降了液冷服務器的使用門檻,在爲數據中心用戶提升效能的同時,還節約了成本。性能
液冷與風冷的有機組合優化
沈衛東介紹說,曙光TC4600-LP服務器採用「液冷+風冷」的冷卻方式,其中液冷部分採用間接式冷卻技術。所謂間接式冷卻,即冷媒與發熱元件被導熱材料分離,不直接接觸,而是經過液冷板、液冷頭等高效熱傳導部件將被冷卻對象的熱量傳遞到冷媒中。採用間接冷卻的液冷散熱系統,對計算機系統改動不大,僅需將原風冷散熱片替換爲液冷散熱片(液冷頭),並將冷媒管路引出機箱便可。在間接冷卻方式中,冷媒有自身的通路,並不與電子器件直接接觸,只要求液體管路密封性好,冷媒不泄漏便可。設計
曙光TC4600-LP服務器是一個系統,由1個CRU(冷卻櫃)和兩個服務器機櫃共同組成一個最小的冷卻單元。液冷與風冷兩套系統組合起來爲服務器提供散熱。CRU機櫃內部包括CDM(液冷)模塊及CIM(風冷)模塊。每一個TC4600-LP服務器機箱設計的發熱量爲4kW, 其中液冷系統2.7kW,風冷系統1.3kW。單個CDM製冷量爲10.8kW,負責左右兩個機櫃內部4個HCPU的製冷。CRU機櫃內部共有3個CDM模塊。對象
間接冷卻式液冷系統能直接將高溫熱源CPU和內存上的散熱量經過室內側製冷系統進行循環,同時利用列頭製冷模塊的高效換熱與室外熱源進行熱交換。CRU機櫃內置的每個CDM模塊可幫助4箱的TC4600刀片服務器進行熱量交換(左右各兩箱)。室內製冷系統內的冷媒在CDM內循環泵處獲取動力,經過管路系統輸配到左右機櫃內部4個HCPU處,再利用HCPU將液體輸送給主板上配置的冷頭。冷媒在液冷頭內部吸熱後,溫度升高,高溫冷媒流經HCPU進入CDM內的換熱器與室外冷源進行熱交換,又從新變爲的低溫冷媒,再進入儲液罐內準備供給循環泵,進行下一循環。經過液冷方式,CPU表面的溫度會快速降低,CPU的效率和可靠性都能獲得進一步提升。內存
液冷方式採用的冷媒一般包括三種:油、水和蒸發冷媒。TC4600-LP服務器採用的是水。有人可能會擔憂,採用液冷方式,萬一發生漏液怎麼辦?「漏液問題是實現液冷必須突破的技術難關。曙光擁有一些技術專利,能夠經過負壓模式能夠解決漏液問題。」沈衛東介紹說。部署
TC4600-LP服務器採用的是非全浸泡液冷方式,也稱混合式製冷方式,由於液體制冷只能帶走三分之二的設備發熱量,而主板的發熱量仍然要依靠風冷方式帶走。「從這個角度講,混合式液冷並非完全的液冷技術革命。可是,混合式有它的一個優勢,就是隻要對原有的風冷服務器稍加改進,附加一個液冷模塊便可,很容易實現市場化。所以,今年,咱們首推的仍是這種混合式製冷的服務器。」沈衛東解釋說。產品
一些國外的服務器廠商也擁有液冷服務器。沈衛東表示:「咱們如今的研發方向與國際趨勢是一致的。目前市場上應用比較成熟的也是間接式製冷方式,全浸泡式液冷方式還有一些技術難點須要突破。之前,只有一些特殊定製的大型項目纔會用到液冷方式。但咱們認爲,隨着間接式製冷方式的技術逐步成熟和成本不斷降低,在服務器甚至工做站上使用液冷方式的條件已經具有。」曙光公司從2012年開始研究新的節能技術。將液冷基礎設施與服務器完美融合的曙光TC4600-LP是比較適合大規模應用的採用新型製冷方式的服務器。it
目前,在全球範圍內,研究全浸泡式液冷服務器的廠商屈指可數。全浸泡式液冷服務器尚未作到商品化,仍有許多技術難題要解決,包括排放液、密封、液體的儲存和添加等。沈衛東介紹說,曙光在全浸泡式液冷服務器方面已經有了一些技術儲備,可是距產品上市可能還有一年時間。不過,在今年末,曙光會先發布一款全液冷的工做站產品。
不會增長成本
爲了提升計算密度,許多用戶願意採用刀片式服務器。但實際上,不多有用戶的機櫃是滿配的,由於刀片服務器的散熱是一個瓶頸。採用液冷服務器,在提升製冷效率、下降能耗的同時,是否也能大幅提高機櫃的設備密度呢?
曙光TC4600-LP的一個模塊由5U高的刀片服務器機箱和1U高的HCDU水平分液單元組成,在一個標準的42U機櫃內,只能放7個模塊,而採用風冷方式的刀片機箱能夠放置8個。單純從數量上看,風冷服務器超過了液冷服務器。可是如前所述,風冷服務器的機櫃很難滿配。「目前,採用間接式液冷的曙光TC4600-LP服務器與風冷服務器的密度差很少。可是若是之後咱們針對液冷方式對刀片服務器進行優化設計,那麼密度還能夠進一步提升。」沈衛東解釋說。
在推出TC4600-LP液冷服務器的同時,曙光還提供了一個配套的GreenLC解決方案。沈衛東表示,液冷服務器須要一個與之相配合的特殊的數據中心基礎設施。GreenLC是與TC4600-LP服務器相配套的液冷系統和配電監控機櫃系統。相對於風冷服務器,液冷服務器的初次採購成本會略有增長,但在總體擁有成本上,液冷服務器仍是具備明顯優點的。
「TC4600-LP液冷服務器是一個自封閉、帶負壓、能主動報警的智能化系統,平時幾乎不須要維護。」曙光高性能產品總監戴榮博士補充說,「風冷服務器必須配套具備更大功率的空調系統,這增長了風冷服務器的運營成本。TC4600-LP配合GreenLC基礎設施總體方案,可爲一個500kW的中型數據中心每一年節省150萬元的電費支出。在設備投資方面,與風冷版的TC4600服務器相比,雖然液冷版的TC4600的採購費用有所提升,但配套的冷卻系統的成本有所降低,因此整個數據中心的設備採購成本基本不變。」
高性能計算是突破口
曙光TC4600-LP液冷服務器已經有了用戶,主要集中在高性能計算、電信和互聯網行業。戴榮介紹說:「一些採用高性能計算的用戶一般會定製本身的刀片服務器系統。這些用戶會嘗試性地選擇液冷服務器,看看液冷服務器是否真的能夠下降總體運營成本。液冷服務器更適合部署在大規模的數據中內心。」
曙光TC4600-LP針對的就是大型數據中心用戶。曙光TC4600-LP自己具備良好的可擴展性,目前一套設備包括10個結點,將來能夠擴展到100個甚至1000個結點。一個數據中心用戶擁有的服務器規模若是達到上萬臺,它就會特別關注製冷的問題。戴榮表示:「採用液冷服務器,用戶大約一年左右能收回前期的投資。高性能計算行業的用戶對間接式液冷服務器比較感興趣,而互聯網企業的數據中心在使用液冷服務器方面還有一個教育和熟悉的過程。」
戴榮表示,將來,曙光會繼續推出採用間接式製冷方式的小型化的產品。