你的模型真的陷入局部最優點了嗎？

小夕曾經收到過一個提問：「小夕，我的模型總是在前幾次迭代後很快收斂了，陷入到了一個局部最優點，怎麼也跳不出來，怎麼辦？」   本文不是單純對這個問題的回答，不是羅列工程tricks，而是希望從理論層面上對產生類似疑問的人有所啓發。 真的結束於最優點嗎？   我們知道，在局部最優點附近，各個維度的導數都接近0，而我們訓練模型最常用的梯度下降法又是基於導數與步長的乘積去更新模型參數的，因此一旦陷入了局

>>阅读原文<<