NVMe設備的性能有多高?

NVMe SSD是存儲盤的演進方向，與SATA/SASSSD相比，NVMe SSD具備10倍以上的性能增加。這主要仍是得益於NVMe SSD的多隊列技術，經過多隊列技術能夠將IO訪問並行化，從而能夠提高系統總體性能。

 

在NVMe存儲生態中，SSD技術已經變得很是成熟。Intel、Samsung以及Memblaze公司都已經推出了符合NVMe標準的SSD產品。在服務器端，超微在2015年初的時候就推出了10盤位NVMe服務器，而且在2016年初的時候推出了支持24以及48盤位的徹底NVMe服務器。DELL、浪潮、聯想等服務器廠商也都廣泛支持4~8盤位NVMe SSD，能夠說NVMe SSD在服務器中將會是一種標準配置。在網絡端，支持ROCE等高性能的以太網絡技術已經變得愈來愈成熟，iSER等協議能夠支持存儲卷的遠程導出。因此，從硬件的角度來看，NVMe存儲的生態已經具有了。不少人在考慮NVMe存儲的時候，每每會有一個疑問，到底NVMe SSD在系統級別能夠達到什麼樣的性能水平？

對於單盤NVMe SSD的性能你們必定很是清楚。一個普通的1.6TB NVMe SSD，在老化處理以後，隨機讀性能能夠輕鬆達到70萬IOPS以上；隨機寫性能能夠保持在12萬IOPS以上；順序讀帶寬能夠在2.5GB/s以上；順序寫帶寬保持在1.2GB/s以上。這樣的單盤性能遠遠超過了傳統的磁盤以及SATA/SAS SSD。那麼在一個服務器中，若是配置多盤NVMe SSD時，性能又會怎麼樣呢？總體性能會與什麼因素相關呢？

 

以超微服務器爲例，能夠一窺系統級性能的限制因素。在10盤位NVMe SSD的服務器中，SSD與CPU之間的關係能夠描述以下圖所示：

在該結構中，咱們能夠看出NVMe SSD與CPU扇出的PCIe Lane直接相連，這種鏈接方式是延遲最低的。在服務器配置E5-2699 V4處理器的狀況下，總體最大隨機讀性能能夠達到700萬IOPS以上。也就是說10塊盤的性能能夠充分發揮出來。與同等10盤位SAS SSD設備相比，總體擁有12倍以上的性能提高，對比結果以下圖所示。這個結果是很是完美的，可是須要發揮如此高的性能，仍是須要配備E5-2699這種超強處理器。

對於24盤位的NVMe服務器，SSD與CPU之間的關係能夠描述以下圖所示：

該結構與10盤位服務器有所不一樣，爲了鏈接更多的SSD，在處理器與SSD之間引入了PCIe Switch，經過該Switch擴展更多的SSD。這樣作的好處是增長了SSD的鏈接數量，可是引入的問題是限制了IO性能。在24盤位的服務器中，其整體性能尚未10盤位服務器來的高，最大隨機讀性能達到了470萬IOPS，比10盤位服務器低了很多。其中的緣由一方面是PCIe Switch致使延遲增大；另外一方面是CPU鏈接SSD的PCIe端口數量降低了。看來在系統層面並非盤越多越好，關鍵仍是須要看系統架構。

對於48盤位NVMe服務器，其系統架構與24盤位的相似。不一樣的是引入了更多的PCIe Switch，系統結構以下圖所示：

與24盤位服務器相比，48盤位的性能有所提升，可是變化不大，其與相同盤位的SAS SSD服務器對比結果以下圖所示：

在系統層面使用多盤SSD，一方面須要服務器平臺的支持，不一樣的服務器平臺決定了性能的上限。另外一方面離不開軟件的支持，而軟件的效率每每會對系統總體的性能形成巨大影響。在NVMe存儲領域，目前的軟件還不是十分完備，缺乏與磁盤存儲相相似的軟件系統。以FlashRAID爲例，該軟件是針對NVMe SSD的數據保護系統，經過該軟件對四塊NVMe SSD進行管理，並實現相似RAID5的數據保護機制。在這種狀況下，以下圖所示，隨機讀性能能夠超過250萬IOPS。咱們發現，隨着NVMe SSD的進一步增長，系統總體性能有所上升，可是受限於CPU的能力，軟件形成的性能損失仍是不可避免的。

咱們能夠預見NVMe SSD是下一代主流存儲介質，其不只具備超高的性能，並且還擁有極高的存儲容量，很是適合企業級存儲的應用。在NVMe生態一步步完善的過程當中，咱們也發現系統軟件還存在很大的發展空間。NVMe SSD的系統性能一方面取決於服務器的設計架構；另外一方面還決定於存儲核心軟件棧。