基於文件存儲UFS的Pytorch訓練IO五倍提高實踐

咱們在協助某AI客戶排查一個UFS文件存儲的性能case時發現，其使用的Pytorch訓練IO性能和硬件的IO能力有很大的差距（後面內容有具體性能對比數據）。git 讓咱們感到困惑的是：UFS文件存儲，咱們使用fio自測能夠達到單實例最低10Gbps帶寬、IOPS也可達到2w以上。該AI客戶在高IOPS要求的AI單機小模型訓練場景下，或者以前使用MXNet、TensorFlow框架時，IO都能跑到

>>阅读原文<<