深度學習之卷積神經網絡CNN(二)訓練方法

  CNN的訓練和DNN相似,使用前向傳播獲得預測值後,再用反向傳播算法鏈式求導,計算損失函數對每一個權重的偏導數,而後使用梯度降低法對權重進行更新。html   1、參數初始化算法 神經網絡的收斂結果很大程度取決於參數的初始化,理想的參數初始化方案使得模型訓練事半功倍,很差的初始化方案不只會影響網絡收斂效果,甚至會致使梯度彌散或梯度爆炸。網絡 注意參數不能所有初始化爲0,這是由於在反向傳播時梯度
相關文章
相關標籤/搜索