神經網絡優化的方法-梯度、超參數

神經網絡優化方法 一：使用正則化技巧提高模型的泛化能力 二：梯度優化 三：網絡初始化技巧和超參數調優 一：使用正則化技巧提高模型的泛化能力 常用的正則化方法如下所示： L1、L2 正則化 dropout 正則化 Data Augmentation 增加訓練樣本 Early stopping 選擇合適的迭代訓練次數 二：梯度優化 常用的梯度優化方法如下： 梯度下降 隨機梯度下降 (SGD) 動量梯度

>>阅读原文<<