語音識別實踐7.1——訓練加速

GPU流水線反向傳播 異步隨機梯度下降 增廣拉格朗日算法及乘子方向交替算法 減小模型規模 改善訓練速度可以通過更好的訓練算法或者使用更小的模型。DNN中的權值矩陣大體上是低秩的，且DNN最後一層佔用了系統50%的模型參數以及訓練計算量。且DNN任意層只有最大的30%~40%的權重是重要的，每個權值矩陣可以近似地進行低秩分解且沒有識別精度的損失。 使用SVD，每個權值矩陣可以分解爲兩個更小的矩陣，從

>>阅读原文<<