優化算法總結-深度學習

優化算法總結 超參數（Hyper-Parameter)是困擾神經網絡訓練的問題之一，因爲這些參數不可通過常規方法學習獲得。 神經網絡經典五大超參數: 學習率(Leraning Rate)、權值初始化(Weight Initialization)、網絡層數(Layers) 單層神經元數(Units)、正則懲罰項（Regularizer|Normalization) 這五大超參數使得神經網絡更像是一門

>>阅读原文<<