【筆記】神經網絡中的一些基本原理和公式

（1）神經網絡中的神經元的輸出： （2）梯度下降算法： （3）隨機梯度下降：（每次訓練完一個batch後，進行一次參數更新） （4）反向傳播： （5）momentum： 是梯度下降法中一種常用的加速技術。對於一般的SGD，其表達式爲,沿負梯度方向下降。而帶momentum項的SGD則寫生如下形式： （6）學習率： （7）weight decay: weight decay是放在正則項（regula

>>阅读原文<<