局部最優和鞍點區分

真的結束於最優點嗎？ 我們知道，在局部最優點附近，各個維度的導數都接近0，而我們訓練模型最常用的梯度下降法又是基於導數與步長的乘積去更新模型參數的，因此一旦陷入了局部最優點，就像掉進了一口井，你是無法直着跳出去的，你只有連續不間斷的依託四周的井壁努力向上爬纔有可能爬出去。更何況梯度下降法的每一步對梯度正確的估計都在試圖讓你墜入井底，因此勢必要對梯度「估計錯很多次」纔可能僥倖逃出去。那麼從數學上看，

>>阅读原文<<