網絡權重初始化方法總結（上）：梯度消失、梯度爆炸與不好的初始化

文章目錄 前向傳播與反向傳播回顧 梯度消失與梯度爆炸 激活函數的影響 權重矩陣的影響 不良初始化 參考 博客： blog.shinelee.me | 博客園 | CSDN 前向傳播與反向傳播回顧 神經網絡的訓練過程可以簡化成以下步驟， 輸入預處理（feature scaling等） 初始化網絡weight和bias 前向傳播，得到網絡輸出 計算損失函數，得到當前損失 反向傳播，根據鏈式法則，逐層回

>>阅读原文<<