爲了不讓GPU等CPU，谷歌提出「數據回波」榨乾GPU空閒時間，訓練速度提升3倍多...

曉查 發自 凹非寺  量子位 報道 | 公衆號 QbitAI 因爲通用計算芯片不能滿足神經網絡運算需求，越來越多的人轉而使用GPU和TPU這類專用硬件加速器，加快神經網絡訓練的速度。 但是，用了更快的GPU和TPU就一定能加速訓練嗎？ 訓練流水線的所有操作並不都是在加速器上運行。上游數據處理（如磁盤I/O和數據預處理）就不能在加速器上運行。 隨着GPU等加速器越來越快，超過了CPU、磁盤處理數據的

>>阅读原文<<