5.4 權值初始化

    前面學習瞭如何搭建網絡模型。在模型搭建好之後，一個很重要的步驟就是對模型進行初始化。   正確的取值初始化可以加快模型的收斂，不恰當的模型初始化可能引發梯度的消失或爆炸，最終導致模型無法訓練。   一、模型初始化不恰當可能引起梯度消失或爆炸   我們使用右邊的模型：   觀察w2的梯度是怎麼來的。 求w2的梯度時，需要用到H1。如果H1的值非常小，那麼w2的梯度也會很小，從而導致梯度消失；

>>阅读原文<<