深度網絡訓練技巧|深度學習（李宏毅）筆記（三）

1. 過擬合和欠擬合 過擬合：訓練集效果好，測試集效果不好。 提前停止 正則化 Dropout 欠擬合：訓練集與測試集效果都不好。 切換激活函數 自適應學習率 2. 梯度消失問題   問題：隨着越來越多的激活函數加到神經網絡中，損失函數的梯度趨近於0，使得網絡結構很難訓練。   舉個例子，如下圖所示，神經網絡使用sigmoid函數作爲激活函數，由於sigmoid函數將函數的輸入壓縮到0和1之間，所

>>阅读原文<<