機器學習小的tips

1.  使用 ADAM優化器。和批量梯度下降等傳統優化器相比，Adam優化器效果更好。 2. Relu是最好的非線性映射（激活函數）。就像 Sublime是最好的文本編輯器， ReLU快速、簡單，神奇的地方在於它在訓練過程中不會逐漸減少梯度。雖然教科書中常用sigmoid作爲激活函數，但是它在DNN中不能很好地傳遞梯度。 3. 使用方差縮放初始化（variance-scaled initializ

>>阅读原文<<