存儲和服務器的三大件(1)

上週末參加了冬瓜哥的存儲和服務器底層原理架構培訓課程，又重拾了存儲和服務器的部分知識。我的言論不表明冬瓜哥及所在公司觀點。

從底層原理實現角度來看，存儲和服務器的物理硬件本質都是三大件：CPU、內存和I/O的組合運用。

1、三大件的主流趨勢

在CPU芯片方面，CPU芯片從工藝設計到流程製造均是高精尖的科技硬實力體現，而我國在這一方面一直在投入重金進行技術研發、生態圈建設和技術追趕。現目前，我國在AI芯片的工藝設計上，處於和國際同一塊兒跑線的位置，這一塊主要依靠國內的寒武紀等公司的技術，而在傳統CPU芯片及GPU芯片領域，不論是在芯片設計仍是在工藝製程方面，均至少落後國際技術2到3代的差距。在於芯片設計方面，折騰多年終於出了個胡偉武的龍芯。還記得當年在學校的時候，胡偉武的龍芯研究所在重慶江津落戶，咱們學校就暫借了一個教室給胡偉武的安置臨時的龍芯研究所。當時的龍芯項目有錢，是全部地×××府爭取的香餑餑，最終重慶江津拿下了，固然主要內因仍是由於當時胡偉武的導師，我國計算機事業的奠定人夏培肅先生是重慶江津人。話歸正傳，在CPU芯片的工藝製程領域，其製造技術半導體行業在我國起步晚，底子薄，也缺少相關方面的領軍人物和技術科學家，好比相似臺灣張忠謀這樣的大將。我國目前主要的龍頭企業中芯國際，還在以較低良率的28nm量產，40nm製程徹底成熟的規格技術在進行技術探索。而按照技術梯隊，第一梯隊：臺積電、三星、Intel，已經掌握了7nm、10nm的高端製程量產技術，而且在實驗室研究設計5nm的工藝製程；第二梯隊格羅方德（Global Foundries）、聯電（UMC）等，在高端10nm、14nm上有小規模的量產，28nm製程算是徹底成熟；中芯國際只能算是第三梯隊的成員了。

在內存方面，真正能稱爲內存製造公司的只有那麼幾家。內存製造商會在各個生產階段設計、生產和測試組件和模塊。內存模塊由兩塊芯片組成：存儲數據的DRAM半導體芯片以及將內存芯片與計算機其他部分鏈接起來的印刷電路板(PCB)。具有生產DRAM芯片能力的半導體制造商分別是Micron 美光、三星、海力士和東芝，這三家佔據了市場上95%的份額。在內存產業方面，國內一直動做頻頻，其中具備典型表明即是紫光公司，擁有國家政策與資金的扶持，經過收購和技術合做，紫光公司終於能夠推出市面上主流的內存產品了，可是因爲製做工藝上落後，良品率極低，沒法在數量上左右市場。並且新的內存技術HBM已經出現，目前在市面上流通的主要是HBM 2，AMD在2015年發佈的Fury系列顯卡上，首次商用了第一代HBM技術，超高的帶寬以及極低的佔用面積完全改變了當時的顯卡設計，隨後NVIDIA也在Tesla P100上採用了HBM 2技術。相比較如今的DDR內存技術，目前市面上的HBM 2內存，核心容量可達8Gb，經過TSV技術能夠實現每一個CPU支持64GB HBM2內存，每路插槽的帶寬可達2TB/s，而到了HBM 4時代，每一個CPU支持的容量可達512GB，帶寬超過8TB/s。而目前的CPU處理器在支持8通道DDR4內存的狀況下，最高容量才能達到2TB，並且帶寬只有150GB/s，與HBM內存相比差距明顯。

在I/O方面，和CPU、內存不太同樣的地方，在I/O方面沒有存在任何一傢俱備壟斷性質的公司，主要緣由在於I/O模塊和種類太多，任何一家公司都不可能徹底的所有生產和設計製造，必需要設計出一條普適性的開放標準，全部的I/O廠商根據標準進行產品生產和適配，這樣才能集成和組合不一樣的I/O設備。

服務器與存儲之間主要經過網絡I/O和存儲I/O進行聯動。網絡I/O方面，毫無疑問以太網君臨天下，目前10GB已是標配和量產的規模了，40GB也在小規模的試用，100GB也在實驗階段。而存儲I/O方面，I/O規格和標準種類較多，所以側重介紹現今熱門和主流的I/O規格NVMe、PCIe以及SAS。

NVMe（Non-Volatile Memory express）稱爲非易失性內存主機控制器接口規範，是一個邏輯設備接口規範。簡單地說，NVMe是專門爲閃存類存儲設計的協議，由於閃存類存儲處理速度遠遠高於傳統協議傳輸的速度，所以閃存類存儲須要新的協議去支持高速的存儲處理。NVMe在服務器與存儲設備上的應用，可分爲後端與前端兩種類型，後端的NVMe應用是取代SAS協議，做爲SSD或Flash存儲鏈接控制器的協議；前端的NVMe應用，則是將NVMe嫁接在既有的網絡傳輸通道上，構成外接的NVMe-oF傳輸架構。NVMe的後端應用已經進入成熟期，現目前市面上主要的SSD硬盤的均支持NVMe協議且已經批量的使用，只要咱們的電腦主板上集成有PCIe的插槽，就能夠接入NVMe的協議的SSD硬盤或Flash介質。但前端應用的NVMe-oF架構仍在推廣和測試。並且因爲前端協議種類繁多，NVMe均爲其作了適配並進行了測試，所以可以佔據主流的究竟是哪種嫁接方式還沒有有定論。由於基於32Gb FC、基於InfiniBand，基於25/50GbE RoCE或iWARP以太網絡等多種形式的NVMe均具備各自不一樣的利弊和應用場景。

咱們詳細來看NVMe在服務器與存儲設備在後端上的成熟應用。主要分爲基於PCIe接口的NVMe SSD和基於PCIe接口的NVMe 後端協議。

基於PCIe接口的NVMe SSD

NVMe是一種接口規範或者協議，SSD硬盤或Flash介質經過該協議和控制器進行通訊，由於SSD硬盤或Flash介質和通訊協議以及變得更加高效，再使用傳統的SATA接口已經不在適應高速增加的需求，所以接口也須要相應的作出改變，這個改變就是PCIe。

如今主板上的插槽基本上都是PCI插槽或者PCIe插槽。PCI插槽是目前我的電腦中使用最爲普遍的接口，幾乎全部的主板產品上都帶有這種插槽。使用PCI，電腦經過插接不一樣的擴展卡能夠得到目前電腦能實現的幾乎全部外接功能。而PCIe全稱是「PCI-Express」，是基於PCI的更新升級版本，是最新的總線和接口標準，它原來的名稱爲「3GIO」，由英特爾在2000年提出，最後由PCI標準化組織進行標準化並推廣全世界。

現目前服務器上集成的PCIe插槽都是PCIe3.0規格，可是存在的一個問題是，服務器的主板面積和空間有限，所可以集成的PCIe數量也是有限的，當服務器的硬盤所有都使用NVMe SSD並使用PCIe通道做爲傳輸介質時，服務器主板的PCIe傳輸通道就不夠用了。好比一塊NVMe SSD佔用4條PCIe 3.0，一臺標準的2U服務器插滿24塊NVMe SSD，就佔用多達96條PCIe傳輸通道。所以爲了解決服務器主板PCIe資源緊張的問題，PCIe標準化組織就推出了PCIe 4.0規範，PCIe 4.0單通道傳輸率比PCIe 3.0提升一倍，由於一塊NVMe SSD佔用4條PCIe 3.0通道是爲了得到足夠多的傳輸帶寬，所以提升PCIe單通道的傳輸帶寬便可減小NVMe SSD對PCIe通道的佔用，在PCIe 4.0規範下，一塊NVMe SSD只需佔用2條PCIe通道接口知足傳輸帶寬要求。基於此，PCIe標準化組織發佈公告顯示，將會繼續推出了PCIe 5.0，能夠在PCIe 4.0的基礎上讓單通道的傳輸速率再提升一倍。也就是PCIe 5.0規範下的單通道的傳輸速率是PCIe 3.0規範的下的4倍，一塊NVMe SSD只需佔用1條PCIe 5.0通道接口知足傳輸帶寬要求。

基於PCIe接口的NVMe 後端協議

在存儲系統的體系中，控制器和後端存儲硬盤櫃之間的鏈接採用的是現今主流的SAS-3規範，也就是具備12Gb SAS技術標準的SAS接口和協議。SAS是目前最重要的企業級存儲I/O規格之一，也是SSD與外接硬盤櫃的標準規範，在存儲系統的江湖裏，SAS已經長期統一了全部存儲設備的後端存儲I/O規格太長時間。SAS是一種協議也是一種接口，嚴格來講是SAS協議和SAS接口，只不過由於都叫SAS，因此統一使用SAS代指。

因爲硬盤介質採用SSD，所以若是再採用原來的SAS來鏈接控制器和硬盤櫃之間的I/O傳輸，和直連主機端相似，傳輸通道將沒法知足SSD的需求。所以有人就在嘗試使用基於PCIe的NVMe來替代SAS，而且已經有了實質性的進展，所以SAS將有可能會被基於PCIe的NVMe替代掉。

SAS標準的起草和發展略爲滯後，SAS-3已經面世不少年了，可是SAS-4一直處於難產階段，如今的SAS-4目前還在控制器元件階段，還未實際進入存儲產品應用當中，而基於PCIe的NVMe已經實際的運用於存儲產品當中了，可想而知SAS的速度和反應，雖然SAS-4的傳輸頻寬比SAS-3提升一倍，單一通道可達24Gb/s，匯聚4條通道即可達到96Gb/s。可是NVMe並不比SAS-4遜色多少，並且SAS還有天生的延遲缺陷，SAS-4的推出恐怕已時不我予。

綜合來看，基於I/O規格的技術的一種通用的技術標準和規範，國內和國際的差距在於產品和模塊的應用和研發上面。舉個例子來講，國內目前沒法自主實現的機械硬盤，在SSD硬盤時代，因爲SSD是基於閃存顆粒實現的，所以在技術難度上國內可以實現而且也可以推出自主的SSD產品，可是在I/O規格的標準制定和參與上，國內還存在必定的差距。市面上常說：一流的企業作標準，二流的企業作品牌，三流的企業作產品。中國企業若是要在將來的競爭中佔得一席之地，還得參與制定遊戲規則。