Hinton Neural Networks課程筆記3b:線性神經元的誤差曲面

引入了誤差曲面(error surface)的概念;然後利用誤差曲面,分析了簡單梯度下降學習算法的一種不適用情況:未歸一化。 誤差曲面(error surface) 回憶學習感知機過程中應用的權重空間工具,誤差曲面坐落的空間與權重空間很類似。誤差(error/loss)函數在數據集確定的情況下可以看做是權重的函數,在權重空間的基礎上加入誤差維度,然後所有<權重,誤差>點組成的曲面即爲誤差曲面。通常
相關文章
相關標籤/搜索