深度學習的訓練加速

深層模型訓練須要各類技巧，例如網絡結構的選取，神經元個數的設定，權重參數的初始化，學習率的調整，Mini-batch的控制等等。即使對這些技巧十分精通，實踐中也要屢次訓練，反覆摸索嘗試。此外，深層模型參數多，計算量大，訓練數據的規模也更大，須要消耗不少計算資源。若是可讓訓練加速，就能夠在一樣的時間內多嘗試幾個新主意，多調試幾組參數，工做效率會明顯提高，對於大規模的訓練數據和模型來講，更能夠將難以完

>>阅读原文<<