Normalization Technique總結

1.相關介紹: 神經網絡在多個領域取得了非凡的成就,例如,語音識別,圖像識別等。因此,訓練神經網絡是個重要的任務,gradient descent常被用來尋來拿神經網絡。但在網絡比較深時,gradient descent容易出現梯度消失或梯度爆炸等現象。所以,在使用SGD算法對神經網絡進行優化時,須要當心的對模型超參數進行微調,例如學習速率,模型參數的初始化等。神經網絡的訓練過程是很複雜的,每層的
相關文章
相關標籤/搜索