近日，全球倍受矚目的權威AI基準測試MLPerf公佈今年的推理測試榜單，其中浪潮AI服務器NF5488A5一舉創造18項性能記錄，在數據中心AI推理性能上遙遙領先其餘廠商產品。php
MLPerf是當前全球最具影響力的AI計算基準評測組織，由圖靈獎得主大衛·帕特森（David Patterson）聯合谷歌、斯坦福、哈佛大學等單位共同成立，每一年組織全球AI訓練和AI推理性能測試併發榜。據瞭解，這次MLPerf的AI推理基準測試有全球23家公司和單位參與，在數據中心及邊緣等場景進行AI計算產品的性能比試。今年MLPerf訓練榜單已於7月公佈。算法
浪潮NF5488A5獲數據中心AI性能絕對優點
這次浪潮NF5488A5一舉創造18項MLPerf推理性能記錄，成爲創紀錄最多的AI服務器。今年的測試中，數據中心AI性能最受關注，所有參與機構提交了507項性能測試數據。c#
浪潮NF5488A5創下了數據中心22個賽項中的13項性能記錄以絕對優點領先，NVIDIA DGX取得了5項數據中心性能記錄。而在此前的MLPerf訓練榜單中，NF5488A5在最核心的Resnet50訓練任務中也創下了性能記錄，單機性能高居榜首。性能優化
浪潮NF5488A5創造18項MLPerf推理性能記錄服務器
性能大幅提高3倍，全棧AI能力優點凸顯
在這次基準測試中，浪潮AI服務器NF5488A5在開放優化(Open)和固定任務(Closed)的ResNet50基準性能測試中，均表現優異，相比2019年MLPerf推理榜單的服務器最好性能提高高達3倍。架構
MLPerf ResNet50推理性能2019 VS 2020對比併發
NF5488A5是浪潮自研的新一代AI服務器，是這次MLPerf全球競賽中惟一能夠在4U空間內支持8塊安培架構A100芯片實現NVLink高速互聯的AI服務器。浪潮NF5488A5在系統拓撲上採用了超低延遲設計，支持PCIe 4.0全鏈路極致優化，高頻通訊單元採用一級拓撲最近鏈接，最大限度提高處理器到AI芯片間的通訊性能。同時，經過配置NUMA節點，確保每顆處理器與其直連的GPU之間通訊性能最優，最大限度下降通訊延遲。此外，NF5488A5經過深度優化系統結構設計，確保設備可在高溫環境下穩定運行。性能
本次基準測試中，浪潮展現了其AI計算軟硬件協同優化的強大實力。在硬件層面，經過對CPU、GPU硬件性能的精細校準和全面優化，使CPU性能、GPU性能、CPU與GPU之間的數據通路均處於對AI推理最優狀態；在軟件層面，結合GPU硬件拓撲對多GPU的輪詢調度優化使單卡至多卡性能達到了近似線性擴展；在深度學習算法層面，結合GPU Tensor Core 單元的計算特徵，經過自研通道壓縮算法成功實現了模型的極致性能優化，在精度無損的狀況下性能提高近2倍。學習
各服務器MLPerf AI推理性能對比（以浪潮NF5488A5爲基準，越高越好）區塊鏈
更多精彩推薦