深度學習中的優化方法

梯度降低沿着整個訓練集的梯度方向降低。可使用隨機梯度降低很大程度地加速，沿着隨機挑選的小批量數據的梯度降低。python 批量算法和小批量算法 使用小批量的緣由 n個樣本均值的標準差是 σn√ ，其中 σ 是樣本值真實的標準差。分母 n√ 代表使用更多的樣原本估計梯度的方法的回報是低於線性的。 另外一個促使從小數目樣本中得到梯度的統計估計的動機是訓練集的冗餘。大量樣本可能對梯度作出了很是類似的貢獻

>>阅读原文<<