DNN CNN RNN

1. DNN: 在訓練集上性能不行： 1.梯度消失問題：有些activation function會導致這個問題,例如：後面提出了Rectified Linear Unit：ReLU,形狀爲_/；learnable activation function：Maxout 2.可能調整學習率來達到更好，例如Adam 在驗證集上性能不行： 1.early stopping：不用等到在訓練集上loss最小

>>阅读原文<<