基於數據共享的神經網絡快速訓練方法

導讀：神經網絡技術的普及離不開硬件技術的發展，GPU 和 TPU 等硬件型訓練加速器帶來的高算力極大的縮短了訓練模型需要的時間，使得研究者們能在短時間內驗證並調整想法，從而快速得到理想的模型。然而，在整個訓練流程中，只有反向傳播優化階段在硬件加速器上完成，而其他的例如數據載入和數據預處理等過程則不受益於硬件加速器，因此逐漸成爲了整個訓練過程的瓶頸。本文應用數據共享和並行流水線的思想，在一個數據讀入

>>阅读原文<<