走進宿遷|解密開發者關心的京東雲數據中心

2019年9月7日，咱們招募的第一批【開發者走進京東雲數據中心】活動已圓滿落幕。這次活動中，咱們特邀了兩位行業KOL與開發者們同行，參觀的同時，與你們進行技術溝通與交流。 今天，咱們特別爲你們帶來了吳寧川老師關於京東雲數據中心的技術解讀，帶領沒有機會去到現場的開發者們一塊兒走近京東雲數據中心！

做者 | 吳寧川

新媒體品牌「雲科技時代」的創始人。「雲科技時代」自2014年末以來運營，主要覆蓋：雲計算、大數據、人工智能、物聯網和區塊鏈等新科技；於2014年下半年返回媒體職業生涯，以前在多家國際公關品牌諮詢公司工做長達8年，其中包括西岸奧美、偉達公關、福萊公關、凱維公關等。

 

近年來，京東雲快速崛起。在市場調查公司 IDC 的《中國公有云服務市場(2019 第一季度) 跟蹤》，京東雲位列中國公有云 IaaS 市場第九名；在Forrester 評的 2018 年 Q3 中國全棧公有云開發平臺廠商中，京東雲獲卓越表現者；在艾瑞的《2019 年中國企業級 SaaS 行業研究報告》中，京東雲憑藉電商雲 SaaS 產品，位列行業垂直圖譜「零售電商」區域首位；而在賽迪顧問的《2018—2019年中國政務雲市場研究年度報告》中，京東雲躋身領導者象限。

自 2016 年 4 月京東雲正式商用以來，京東雲短短三年時間就在 IaaS、PaaS和 SaaS 全棧雲服務全面發力，同時涉及 IDC 業務、雲計算業務和綜合業務等全頻段服務，爲用戶提供包含公有云、私有云、混合雲、專有云在內的全場景服務，以及跨行業的全生態雲服務，造成了從基礎平臺搭建、業務諮詢規劃到業務平臺建設及運營等全產業鏈的雲生態格局，爲用戶提供一站式全方位的雲計算解決方案。京東集團還在推進集團業務線賦能京東雲，涉及區塊鏈、AI、AIoT、物流、金融和智能城市等。

在過去的 18 個月裏，京東雲的營收達到了三位數的增加，10倍於行業增速，如今已有 230 多款自研產品和服務，且還在持續的增加中，京東雲目前已在國內30 多個城市落地，生態合做夥伴超過 2500個，每個月更新註冊用戶目前已上升到62萬多。而在這一切的背後支撐，離不開京東雲數據中心。在全國範圍內，京東雲公有云目前已完成 4 個區域 、10 個可用區（華北北京、華東上海、華東宿遷、華南廣州）的總體佈局，另有數十個遍及全國的 IDC 設施。將來，京東雲將積極擴展布局自建數據中心，知足合做夥伴數據中心轉型等多維度需求。

京東雲華東宿遷數據中心（如下簡稱宿遷數據中心）是其首個自營自建的雲數據中心，宿遷數據中心從 2015 年開始建設，總投資 35 億、一期投資 15 億，二期計劃投資 8 至 10 億，現已投入 6 億。京東雲的數據中心究竟有什麼黑科技？又是如何承載每個月 62 萬多的更新註冊用戶？2019 年 9 月初，宿遷數據中心舉辦了首個開放日，解密京東雲高速成長的背後故事。

 

1.高可用保障數據中心不間斷

熟悉數據中心建設的，都知道數據中心等級標準。美國《TIA-942》（數據中心的通訊基礎設施標準）中針對數據中心建設設定了標準，涉及電纜系統、網絡、建築架構、電力系統、消防系統、空調系統、接地系統設計、電力質量等，同時定義了四個級別，最高級的 T4 機房屬於容錯級別機房，要達到99.995%的可用性。

宿遷數據中心園區佔地 200 畝左右，由 4 個數據中心模塊、一個 ECC 監控中心等組成，也就是由 4 個規模至關的雲數據中心模塊和 1 棟綜合大樓等組成，達到抗震八級水準。其中，數據中心模塊的建築面積爲 6 萬多平米，總機櫃數1138 個，分別佈置在 10 個模塊機房內。建成後，宿遷數據中心存儲能力不小於 32EB，計算能力不小於 128 千萬億次每秒。

目前，1#數據中心模塊於 2016 年年初投產運營，2 期4#數據中心模塊計劃2019 年 11 月完成交付。宿遷數據中心採用全局 T3 局部 T4 的標準設計並建造。其中，1#模塊的建設等級，按國際 T4 建設標準設計，具備 30 萬臺服務器運營能力，核心目標之一是全力保證負荷用電的高可靠性，其硬性指標包括：雙路 110KV專屬供電、N+1 柴油發電系統、雙路 UPS 配置，提供連續12 小時滿載運行能力。

其中，雙路 110KV 專屬供電指的雙迴路、雙路由的高可靠大工業生產用電接入，24 小時不間斷供電。宿遷數據中心園區具備專屬的 110KV 開關站，上一級來自兩個不一樣的 220KV 變電站專線，在 110KV 開關站內設 2 臺變壓器，容量知足整個數據中心園區的最大用電量。當兩臺變壓器任意一臺檢修或發生故障時，另外一臺徹底知足園區內全部設備的正經常使用電需求。

N+1 柴油發電系統，指的是當數據中心的兩路市電發生故障斷電後，就由柴油發電支撐整個數據中心正常運行。宿遷數據中心現配置了 8 臺 2500KVA 容量的科泰柴油發電機系統，室外 50m³的地埋儲油罐系統，支撐數據中心滿載運行 24 小時以上。爲保證柴油發電機系統的正常狀態，宿遷數據中心每個月都會進行啓動測試，每一年兩次帶載測試，還與當地中石油簽定了供油協議，在接到通知後 12 小時內補充柴油，理論上只要柴油不斷，數據中心的供電系統也不會間斷。

在柴油發電與市電切換的窗口期，宿遷數據中心也配備了雙路 UPS 電源。柴油發電機從啓動到正常運行帶載切換大約須要 45 秒，這 45 秒期間全部負荷由UPS 及蓄電池承擔，從而保證負荷不間斷運行。1#模塊數據中心共有 5 千多塊在線式蓄電池運行，爲整個模塊內負載提供 15 分鐘的供電能力。

保證電力充足供應的同時，宿遷數據中心也爲電力安全進行了充分保證，採用了消防系統中比較少見的氣滅鋼瓶。因數據中心的特有狀況致使不能採用傳統的水噴淋系統，要保證火災發生也要不間斷運行數據中心業務，由此配置了氣滅系統。宿遷數據中心配置的氣滅系統爲 IG541 混合惰性氣體，由氮氣 50%、氬氣 40%,、二氧化碳 10%的比率混合充裝，因此叫 IG541。

氣滅系統也能成爲黑科技的緣由是，一般防禦區空氣中含有大約 21%的氧氣，當防禦區中氧氣降至 15%如下時，大部分可燃物將中止燃燒。而混合氣體能把防禦區氧氣降至 12.5%，同時又把二氧化碳升至 4%。二氧化碳比例的提升可加快人的呼吸速率和吸取氧氣的能力，從而補償環境中較低的氧氣濃度。宿遷數據中心滅火系統的設計理念是保證數據中心在火災中仍能不間斷運行，同時儘快滅火且保證對人體的安全無害。

綠色環保也是京東雲數據中心的特點。據介紹，宿遷數據中心從最初的概念設計到施工建造，一直到投產後的運營管理，保證數據中心年均 PUE≤1.3，在國內達到領先水平。宿遷一年中大部分時間的溫度在 -5~35℃之間，年均氣溫14.2℃，室外設備被凍結故障的可能性較小，爲了充分利用冬季室外自然冷源進行天然冷卻，宿遷數據中心的冷凍水系統設置了板式換熱器，與冷水機組並聯。宿遷數據中心整年基本能夠分爲免費製冷季和常規制冷季，整年能夠「免費」使用天然冷源的時間高達 180 天以上，直接節約電費數百萬元以上。

2.保障業務高可靠、高可用

京東雲宿遷數據中心現有業務包括京東雲、京東商城、京東金融及市政府業務等。在保障數據中心不間斷運行的同時，宿遷數據中心也在竭盡全力的保障業務的高可靠、高可用。

做爲公有云數據中心，對外的網絡鏈接是業務高可靠、高可用的重要基礎。宿遷做爲四線城市，原城市網絡爲國家四級環網，不足以支撐公有云數據中心的需求。2015 年，京東集團宣佈在宿遷建設數據中心後，京東雲與宿遷市政府經過京東雲華東數據中心項目向運營商爭取，經過精品 OTN 項目將運營商網絡接入國家一級環網，極大提高了宿遷市的生產級應用網絡質量。2017年 9 月，宿遷數據中心接入南京、無錫國家骨幹通訊網絡，順利打通了通往華東、華南地區的通道，另外還實現了北京訪問宿遷經由南京變爲經由徐州的光纖傳輸方式。在京東集團的大力推進下，宿遷的網絡傳輸速度已和南京、無錫處於同等級別。

京東雲還經過自建 BGP 解決單運營商網絡中斷的問題，與三大 ISP 互爲備份、與各 ISP 直連，從而緩解運營商大區間網絡通訊異常問題。而京東雲自建BGP 還能夠向公有云、私有云、合做夥伴數據中心等提供質量穩定可靠的互聯網接入服務。

京東雲不斷對數據中心的技術架構進行升級。目前，京東雲數據中心的硬件方面採用了2.4 GHz、3.2 GHz主頻的 Intel Xeon Gold 處理器，在此基礎上開發新一代雲主機、雲物理機、GPU雲主機、GPU雲物理機、雲硬盤、原生容器、高可用組等。結合自建的 BGP 網絡，京東雲從容支持了屢次京東商城6.1八、11.11 等大型的線上活動。

其中京東雲二代雲主機所採用最新英特爾至強金牌處理器，浮點計算性能提高 2倍，能夠提供超大內存雲主機，知足對數據交換速度和內存容量有極高要求的大型業務部署場景。而云主機的邏輯集合，能夠造成高可用組，組內主機分散部署在相互隔離的物理資源上，保障業務運轉不受故障和維護的影響，組內物理資源跨可用區(AZ)和故障域(FD)分佈，支持彈性伸縮。高可用組服務可保證運行 Web 服務和數據庫的雲主機分散在隔離的物理資源上，若是其中一臺物理資源出現故障或維護升級時，其它 Web 雲主機以及數據庫雲主機不受影響，保證業務高可用。

京東雲數據中心還採用了京東雲原生容器技術，融合了容器和虛擬機的優勢，支持原生容器實例和原生容器 Pod 兩種類型；基於 Docker 鏡像可直接運行容器實例或原生容器 Pod，無需管理集羣也無需學習容器編排工具，便可運行容器。因爲採用獨立內核技術，基於虛擬機的隔離性，可避免容器間共享內核的安全隱患。此外，還基於 SDN 技術實現不一樣租戶間的徹底隔離。這樣，京東雲面對突發流量實現了秒級擴容，平穩、安全地度過了數次洪峯。

京東雲追求爲產業服務，自身業務的產業屬性比較強。對於電商、物流、營銷、安全等產業場景，京東雲在標準化的 IaaS 產品中尋找場景的差別化，以實現極致性能。這包括機房建設的行業標準、審計要求、資源利用率和利用週期，以及配套中間件的優化，安全組的配置等等。經過細緻調優，京東雲確保IDC、網絡、雲產品一系列的 IaaS 資源及架構都爲產業服務。

據介紹，京東集團內的零售、企業業務事業部、企業信息化、廣告、AI、大數據，搜索推薦、物流、安全、都是京東雲的用戶，京東雲針對這些部門所在產業也都進行了深度的需求挖掘的分析，構建出屬於每個產業的雲平臺。京東雲還在積極佈局全國，推進「產業上雲數字化轉型」與「雲上產業新經濟彙集」。

京東雲佈局全國的城市數據中心，除了能夠解決客戶傳統的 IDC 需求外，也符合邊緣計算的資源分佈和離用戶近的屬性。京東雲經過利用城市節點做爲邊緣計算的載體，實現雲計算與邊緣計算之間的協同、互補，而京東雲 AIoT 智能物聯網就是邊緣計算的第一個應用。

值得一提的是，在全面提速的發展過程當中，京東雲得到了多項資質。2019年1月，京東雲得到了 CSA STAR 雲安全認證、C STAR 雲計算安全評估認證，這兩項雲安全國際權威認證，標誌京東云云計算服務的成熟和業界的承認。京東雲還得到了支付卡行業數據安全標準認證（PCI DSS）、雲服務企業信用評級AAA級認證、增值電信業務許可證（IDC/ISP/CDN）、全國 CDN 經營許可證等。

近年來，京東全面向技術轉型，用技術改造第一個十二年創建的全部商業模式，打造包括智能零售、智能金融、智能保險、智能物流在內的全球領先的智能商業體，轉型爲「以零售爲基礎的技術與服務公司」。2018年7 月，京東更宣佈成立一支百億級雲計算產業基金，大力發展京東雲。從宿遷數據中心的參觀，能夠看出京東對於雲計算特別是公有云的認真和投入程度，也從一個側面反應了京東雲近三年在中國雲計算市場快速崛起的緣由。

京東雲的將來，值得期待！