第12課：優化神經網絡——網絡初始化技巧與超參數調試

上一篇，我們主要介紹了神經網絡中幾種常見的梯度下降優化算法，包括 Mini-Batch、Momentum、Nesterov Momentum、AdaGrad、RMSprop、Adam、Learning Rate Decay ，並對各自特點進行了說明和對比。本文將重點講解初始化神經網絡的一些技巧以及如何高效進行超參數調試。 網絡輸入標準化 我們知道，神經網絡的輸入層是訓練樣本的各個特徵值，而不同特徵

>>阅读原文<<