深度學習優化入門：Momentum、RMSProp 和 Adam

雖然局部極小值和鞍點會阻礙我們的訓練，但病態曲率會減慢訓練的速度，以至於從事機器學習的人可能會認爲搜索已經收斂到一個次優的極小值。讓我們深入瞭解什麼是病態曲率。 病態曲率 考慮以下損失曲線圖。   如你所知，我們在進入一個以藍色爲標誌的像溝一樣的區域之前是隨機的。這些顏色實際上代表了在特定點上的損失函數的值，紅色代表最高的值，藍色代表最低的值。 我們想要下降到最低點，因此，需要穿過峽谷。這個區域就

>>阅读原文<<