我與深度學習 - [Gradient Descent] - [梯度下降]

首先我們看一個代價函數： 這⾥ w 表⽰所有的⽹絡中權重的集合，b 是所有的偏置，n 是訓練輸⼊數據的個數，a 是表⽰當輸⼊爲 x 時輸出的向量，求和則是在總的訓練輸⼊ x 上進⾏的。我們把 C 稱爲⼆次代價函數；有時也被稱爲均⽅誤差或者 MSE。 可以看到 C(w, b) 是⾮負的，因爲求和公式中的每⼀項都是⾮負的。此外，代價函數 C(w, b) 的值相當⼩，即 C(w, b) ≈ 0，精確地說

>>阅读原文<<