Pytorch系列之——損失函數、優化器

權值初始化 前面我們介紹瞭如何搭建網絡模型，在模型搭建好之後一個非常重要的步驟就是對模型當中的權值進行初始化。正確的權值初始化可以加快模型的收斂，而不恰當的權值初始化可能會引發梯度的消失或爆炸，最終導致模型無法訓練。 梯度消失與爆炸 Xavier方法與Kaiming方法 常用初始化方法 梯度消失與爆炸 首先觀察模型是怎麼對W2進行求導的，我們有： H 2 = H 1 ∗ W 2 H_{2} = H

>>阅读原文<<