2、改善深層神經網絡

偏差方差 解決過擬合的措施： 1、增加數據集 2、L2正則化 3、Dropout正則化 4、數據預處理方式增加數據集 5、早停機制 正則化輸入的重要性 梯度檢查 梯度檢查注意事項 mini-batch 一般取64-512 指數加權平均 指數加權平均的偏差修正 動量梯度下降 RMSprop Adam：結合上面兩種優化算法的優點 學習率衰減 Batch-norm批標準化：減少了該層與上一層的權重更新關

>>阅读原文<<