局部最優與鞍點問題

一、什麼是局部最優與鞍點 初學深度學習，總是擔心優化算法會困在極差的局部最優。本文介紹如何正確看待局部最優以及深度學習中的優化問題。 如上圖，平面的高度就是損失函數。在圖中似乎各處都分佈着局部最優。梯度下降法或者某個算法可能困在一個局部最優中，而不會抵達全局最優。但是，問題的關鍵在於，低維特徵（圖示兩維）讓我們對局部最優產生誤解。 事實上，如果你要創建一個神經網絡，通常梯度爲零的點並不是這個圖中的

>>阅读原文<<