【揭祕】京東自建數據中心核心技術解密——基礎設施篇

京東第一個自建數據中心是位於宿遷的京東雲華東數據中心，總體由4個模塊和1棟綜合大樓組成，總佔地面積將近6萬平方米，總投資30億元。

能夠提供20萬臺的服務器安裝和運營能力，存儲能力不小於32EB，計算能力不小於128千萬億次每秒。

做爲京東的標杆項目之一，京東集團CTO張晨曾屢次在業界大會上講到：「宿遷自建數據中心的綠色環保技術，貫穿整個生命週期。從最初的概念設計到施工建造，一直到投產後的運營管理，保證數據中心年均PUE≤1.3（實測），在華東地區達到領先水平。」

接下來咱們將爲你們揭祕京東自建數據中心的核心技術，經過《基礎設施篇》和《數據中心運營篇》，揭開它創新技術的神祕面紗。

製冷系統的技術創新

隨着數據中心需求和規模的不斷擴大，建設成本和運行成本不可避免的會成爲企業的考量指標。數據中心不只耗電量巨大，耗冷量也不可小覷。

據統計，數據中心空調系統的能耗通常佔總能耗的20%-40%左右，其中製冷壓縮機的能耗又佔到空調系統總能耗的70%-90%。

下降空調製冷系統的能耗，將會是提升數據中心能源利用率最直接和有效的措施。所以，利用天然冷源來解決數據中心的散熱問題，成爲京東自建數據中心創新技術的核心考量之一。

Freecooling天然冷卻系統

京東自建數據中心選址在江蘇宿遷地區，一年中大部分時間的溫度在-5~35℃之間，水資源豐富，屬於暖溫帶季風氣候區。年均氣溫14.2℃，四季分明，初霜期通常在10月下旬。

相對於嚴寒地區，室外設備被凍結故障的可能性較小，而利用的室外天然冷源的條件又比較充足。

爲了充分利用冬季室外自然冷源進行天然冷卻，冷凍水系統設置了水-水不鏽鋼板式換熱器，與冷水機組並聯。

系統中設計冷凍水供水溫度爲10℃，實際運行中能夠提升水溫，來提升系統運行總體效率並延長天然冷卻時間。

實際運行中，冷凍水系統在室外日平均溫度持續5天以上低於10度時，切換到天然冷卻系統使用，日平均溫度持續5天以上高於10度時，開始退出。整年基本能夠分爲免費製冷季和常規制冷季。

京東IDC建設部技術專家黃軼彪談到：「咱們在傳統的Freecooling技術基礎上，增長了一套自主設計的氣候環境採集控制系統，咱們叫「平滑的連續調整」的Freecooling技術。

利用這套技術，徹底實現了製冷系統根據室內外環境溫度、溼度、系統負荷大小、平滑連續的調節各組件運行狀態，始終保持系統在最佳的效率區間。

並且整年能夠「免費」使用天然冷源的時間高達180天以上，直接節約電費數百萬元以上。」

製冷系統

製冷系統是數據中心的重要組成部分，擔負着爲數據中心提供可靠生產環境的任務。京東在宿遷的自建數據中心，採用三級壓縮式冷水機組，結合水泵，冷塔變頻控制帶來很好的節能效果。

製冷設備採用4臺水冷離心式冷水機組，3+1配備。壓縮機形式爲三級離心式，三級壓縮具備轉速低、運行平穩、低負荷工況好的特色，加大了機組製冷量的調節範圍，同時，在三級壓縮的過程當中設置兩級節能器，與不帶經濟器的冷水機組相比，相同製冷工況下節電量達到8-10%。

冷凍水系統的設計供回水溫度爲10~16℃，主要設備採用N+1冗餘配備，保證系統不會因爲某一設備故障而受到影響。整個水系統管路採用環狀管路，設備之間設置雙閥門，保障系統可用性。

並配備有在線式蓄冷罐，能夠無間斷的爲系統提供15mins備用冷源。空調製冷系統的總體設計知足並高於Uptime Tier Ⅲ級別的要求。

空調製冷系統由冷源系統、管路系統、末端空調系統和輔助系統等構成，數據中心專門設置有製冷機房。

空調末端系統

在京東宿遷自建數據中心的一期模塊中，主機房內架空地板高度爲1.2米。這種較高的架空層有利於空氣靜壓的造成，使通風地板的出口風速平穩。

同時也爲地下保溫層和管線的維護提供了較大的空間。對於不一樣負荷的機櫃，可調整通風地板的開孔面積分配冷量。機櫃採用冷通道封閉的形式，使得空調送風冷卻效率更高。

每一個機房模塊配有獨立的直膨式新風機組，室外新風經初效和中效過濾，並經冷卻處理後送入房間，保證機房正壓需求。

主機房、變配電室、電池室、UPS配電室等均採用水冷式精密空調，採用N+1配置方式。

精密空調所有采用「UPS+市電」雙路供電，UPS電源爲主用，爲避免大量空調同時啓動對電網形成衝擊，空調採起了延時策略。

京東IDC建設團隊對所選用的精密空調，採用了具有節能設計的產品，包括：

◾空調EC風機葉輪採用航空級新型工程複合材料，質量更輕，強度更高，也更加節能；

◾經過控制器根據實際冷負荷按比例設定送風量，知足外部變化的冷負荷，下降風機消耗功率，進一步實現節能；

◾優化氣流通道，擴大回風過濾器面積，減少內部壓強，下降風機的功耗；

◾機組超大面積換熱器，將風機模塊安裝在架空地板下，更好的利用機組的內部空間；

精密空調內置電極式加溼器，具備水處理系統，自動檢測加溼罐中的雜質含量並清除，減小了氧化結垢現象。

高可靠性的技術保障

京東在宿遷的自建數據中心，核心目標之一是全力保證負荷用電的高可靠性。

服務器電源是整個數據中心供配電系統建設的重點，瞭解服務器電源的相關特性對於數據中心的供配電系統建設具備重要的意義。

充分了解服務器電源的容量、冗餘方式、製冷要求和能效設計等主要指標對於數據中心供配電系統的設計是十分必要的。

服務器冗餘電源系統最終均可以歸結到雙電源系統上，若是雙電源服務器的每一路電源都能經過獨立的供電路由從獨立的電源取電，就可以得到最高的可靠性。

市電專線的供電系統保障

創建京東專屬的110KV開關站成爲達成高可靠性這一目標的絕佳途徑。110KV開關站緊鄰京東宿遷自建數據中心園區，其上一級來自兩個不一樣的220KV變電站專線。

在110KV開關站內設2臺變壓器，容量知足整個數據中心園區的最大用電量。當兩臺變壓器任意一臺檢修或發生故障時，另外一臺徹底知足園區內全部設備的正經常使用電需求。

京東數據中心自建變電站

機房內全部電子信息設備都採用UPS供電，其中兩個生產機房和兩個網絡機房電子的供電模式爲2N，其他六個生產機房的供電模式則爲N+1。

輔助設備電源採用「UPS+市電」的供電模式，單臺UPS後備蓄電池支撐時間不小於15分鐘。當一路市電電源故障時，故障迴路負荷自動切換給另外一回路承擔。

即便當兩路市電電源都發生故障，機房模塊內負荷由UPS蓄電池供電，同時備用柴油發電機組啓動，向機房模塊、空調冷源、照明等負荷供電。

後備柴油發電系統

若是市電發生斷電，數據中心的發電系統會自動投入運行，與市電自動切換。並在限定時間內，由發電機組啓動確保重要負載的緊急供電。

油罐儲油量在無外部支援狀況下知足發電機組大於12h帶載連續運行，並有緊急供油協議做爲後繼可靠保障，任意一套油路系統PLC控制出現故障時，自動切換至另一套PLC控制系統，保證系統供油的可靠性。當市電恢復，通過人工確認後，手動恢復市電供電。

京東在宿遷的自建數據中心，發電系統所有采用進口一線品牌的柴油發電機組設備，具備良好的啓動性能。配有發動機缸套水加熱裝置，能夠保證在低溫時，系統的快速啓動和帶載能力。

機組能夠承受負載突加75%的突發情況，保證發電機組快速啓動後能夠快速加載。對並機主控系統的冗餘設計， 有效提升了並機系統的可靠性。發電機配置有防潮加熱器，防止因空氣溼度太高下降發電機絕緣性能而形成安全風險。

供儲油系統在每一個數據中心模塊中獨立設置，物理隔離。每一個模塊配置兩個25立方埋地柴油儲罐，每一個柴油罐配置一用一備2臺供油泵，兩罐之間配置一臺倒油泵。儲罐區至機房日用油箱間輸油管路爲雙環路設計，具有在線檢修及容錯能力。

非晶合金變壓器

在宿遷自建數據中心項目中，IDC建設團隊選擇採用了非晶合金變壓器，它既有普通乾式變壓器阻燃自熄、防潮、耐裂的優良性能，又具備很是優異的導磁性能，去磁與被磁化的過程極易完成。

有利於下降損耗，增長有效載荷，提升效率。與普通乾式變壓器技術參數相比較，空載損耗降低65%-70%，節能效果很是顯著。

智能照明系統

京東在宿遷的自建數據中心，全部主機房都採用了分佈式照明智能控制系統。人員進入機房時，系統會根據感應打開該部位的燈具，人員離開時燈具則按設定的延時時間自動關閉。無人員進入機房時燈具能知足運維監控的最低亮度，達到節能與自動控制的目的。

實驗性技術創新—6sigma模擬仿真

京東IDC建設建設部負責人，首席技術專家張敬特別談到了在京東宿遷自建數據中心二期的建設中，IDC建設團隊引入的更多更前沿的實驗性項目，包括：「經過6sigma作CFD氣流仿真計算，瞭解IDC模塊內的氣流組織，溫度分佈狀況，根據服務器的不一樣負荷狀態，推算溫度升高變化。」

「經過創建數學模型推算和6sigma CFD系統的驗證，在確保服務器同等負荷狀態，以及滿負荷狀態，服務器的實際需求功耗不增長的前提下，逐步提升服務器的運行溫度，也就是數據中心模塊內的環境溫度。」張敬還談到：「於此同時，咱們根據數學推算和CFD仿真驗證的結果，將會在二期的實驗模塊裏引入一些更節能的冷卻技術。」

京東IT資源服務部負責人呂科認爲：「數據中心行業是一個技術含量很是高的服務行業，它爲企業大量的電子信息設備提供安全的場所、持續的電力、適宜的環境、穩定的網絡以及專業的運維服務。」

「這些表面看似簡單的條件，背後卻須要一個龐大複雜的綜合系統來支撐。京東在人工智能，無人機，雲計算等前沿科技領域，不斷推出提高億萬用戶購物體驗的場景應用，正是基於咱們持續技術創新的數據中心服務。」

「數據中心在安全性和可靠性方面的不斷提升，一直會爲這些創新技術的落地推廣、上線應用、穩定運行保駕護航。」