深度學習之卷積神經網絡CNN(二)訓練方法

  CNN的訓練和DNN類似,使用前向傳播得到預測值後,再用反向傳播算法鏈式求導,計算損失函數對每個權重的偏導數,然後使用梯度下降法對權重進行更新。   一、參數初始化 神經網絡的收斂結果很大程度取決於參數的初始化,理想的參數初始化方案使得模型訓練事半功倍,不好的初始化方案不僅會影響網絡收斂效果,甚至會導致梯度彌散或梯度爆炸。 注意參數不能全部初始化爲0,這是因爲在反向傳播時梯度值相同,得到的所有
相關文章
相關標籤/搜索