數值穩定性和模型初始化

《動手學深度學習pytorch》部分學習筆記，僅用作自己複習。 數值穩定性和模型初始化 深度模型有關數值穩定性的典型問題是衰減（vanishing）和爆炸（explosion） 衰減和爆炸 隨機初始化模型參數 如果將每個隱藏單元的參數都初始化爲相等的值，那麼在正向傳播時每個隱藏單元將根據相同的輸⼊計算出相同的值，並傳遞至輸出層。在反向傳播中，每個隱藏單元的參數梯度值相等。因此，這些參數在使用基於梯

>>阅读原文<<