深度學習_1_基礎知識整理

①BP神經網絡：

參考：李宏毅  slides   DNN backprop.pdf

②優化：

1. mini-batch: 小批量梯度降低

2. 設置 validuation data：調節超參數

3. activation function: Relu， leakly Relu， PRelu，maxout

4. loss function：softmax + 交叉熵代價函數 ——> 分類問題

                            二次代價函數 + 正則項 ——> 迴歸問題

5. normlization（輸入/特徵歸一化）

6. 規範化：加入正則化項（L1，L2） ——> 尋找小的權重與最小化原始代價函數的折中

7. 權重初始化：W ——> 均值：0，方差：1/更號n

                         b ——> 均值：0，方差：1

8. 梯度優化：learning rate　vallina GD

                                             Adagrad 

                      動量Momentum  ，三者見 Deep More (v2).pdf

9. 增長訓練數據集（旋轉15 °，扭曲，清除背景噪音等）

10. early stopping (提前終止)

11. 權重衰減：w(t+1) <—— (1-tau * lambda) w(t) - tau * ▽C(w)

12. Dropout（訓練階段）:如同訓練大量不一樣網絡的平均。