Pytorch框架學習（9）——權值初始化

文章目錄 1. 梯度消失與梯度爆炸 2. Xavier方法與Kaiming方法 2.1 Xavier初始化 2.2 Kaiming初始化 3. 常用初始化方法 1. 梯度消失與梯度爆炸 不恰當的權值初始化可能會引起梯度消失或者梯度爆炸。 我們從一個例子中來理解梯度消失與梯度爆炸。，下圖給出一個兩層網絡，我們來計算一下 W 2 W_2 W2​的梯度。 從計算過程中可以看到，當 H 1 H_1 H1​

>>阅读原文<<