梯度下降算法的參數更新公式

NN這塊的公式，前饋網絡是矩陣乘法。損失函數的定義也是一定的。 但是如何更新參數看了不少描述，下面的敘述比較易懂的： 1、在吳恩達的CS229的講義的第四頁直接給出參數迭代公式 在UFLDL中反向傳導算法一節也是直接給出的公式 2、例子： 第一步：隨機對比重（a,b）賦值並計算誤差平方和（SSE） 第二步：通過對誤差比重（a,b）求導計算出誤差梯度（注：YP即Ypred） ∂SSE/∂a = –

>>阅读原文<<