神經網絡之優化算法

先來回顧一下神經網絡的經典結構，如下圖所示： 一般神經網絡分爲：輸入層，隱藏層，輸出層。上圖中的連線代表的是神經網絡中的參數，參考下面的圖： 常用的**函數有： 如果對上面的內容有疑惑的話，可以參考筆者的上一篇文章《談談對神經網絡的理解 「談談對神經網絡的理解」》，這裏不再贅述。 好了，下面進入正題。 損失函數的概念 在講優化算法之前，我們先要明確損失函數的概念，損失函數有很多種說法，中文也可以叫

>>阅读原文<<