2.2.7 局部最優化問題

局部最優化問題 如圖左側所示，似乎存在很多局部最優解。某個算法可能會困在局部最優解裏，而不能達到全局最優解。如果通過畫圖的情況，比如說這種兩緯度的情況，就很容易出現許多局部最優解。然而，通過這樣的低緯來理解高維是不正確的。 事實上如果你要創建一個神經網絡，通常梯度爲0的點並不是圖中局部最優點，而是右圖中的鞍點（saddle points），在高維情況，我們通常碰到的是鞍點而不是局部最優點。 對於深

>>阅读原文<<